답변
브랜드 리포지셔닝의 효과를 상관관계가 아니라 증분(인과) 효과로 검증하려면, '이 결과가 이 캠페인이 없었어도 일어났을 일인가'라는 질문에 답할 수 있는 실험 설계가 필요합니다. 브랜드 리포지셔닝은 브랜드를 통째로 새로 만드는 것이 아니라, 핵심 미션과 가치는 그대로 유지한 채 그것을 표현하는 방식(컬러·서체·로고·카피 톤)만 시장에 맞게 조정하는 작업입니다. 그래서 착수 전 가장 먼저 할 일은 반응이 없는 원인이 '콘셉트 자체'인지 '표현 방식'인지를 고객 인터뷰·리뷰로 구분하는 것이고, 이 구분 없이 시작하면 표현만 바꿔도 될 상황에서 사업 전체를 흔들거나 반대로 콘셉트 문제인데 로고·컬러만 바꾸는 실수를 하게 됩니다. 상관관계가 아닌 증분(인과) 효과를 검증하려면, 광고에 노출될 수 있었던 그룹과 통계적으로 동등하지만 노출되지 않은 통제군을 무작위로 나눠 비교하는 홀드아웃(holdout) 테스트가 대표적인 방법입니다. 지출이 큰 캠페인부터 대상자의 5~10% 정도를 무작위 통제군으로 배정해 몇 주간 노출군과 전환율 차이를 비교하면 그 차이가 캠페인이 만든 순수 증분 효과이고, 통제군을 '최근 접속하지 않은 유저'처럼 임의 기준으로 고르면 비교 근거 자체가 성립하지 않으므로 시스템이 유저 식별값 기준으로 자동 배정하는 무작위성이 반드시 보장돼야 합니다. 무작위 노출·비노출 통제군을 만들기 어려운 채널(오프라인·옥외광고 등)이라면, 특정 지역에서만 캠페인을 집행하고 인구·소비 특성이 비슷한 다른 지역은 집행하지 않은 뒤 두 지역의 온라인 성과 변화를 비교하는 지역 대조군 실험이 현실적인 대안입니다. 이런 실험조차 여의치 않다면, 최소한 캠페인 집행 기간과 비집행 기간의 성과 추이를 나란히 놓고 유의미한 차이가 있는지 확인하는 것만으로도 완전한 무지보다는 나은 판단 근거가 됩니다. 브랜드 리포지셔닝에서는 채널 특성에 따라 홀드아웃 테스트 또는 지역 대조군 실험 중 적용 가능한 쪽을 골라, 작은 규모(전체의 5~10%)로 먼저 시도해보시길 권합니다.