상관관계로 읽으면 무엇이 틀리나

증분 분석은 광고를 노출한 집단과 노출하지 않은 통제 집단의 성과를 비교해, 광고가 없었어도 자연히 발생했을 부분을 제외한 순수 추가분만 분리해 측정하는 방법론입니다. 이 정의를 위기 커뮤니케이션에 옮기면 질문이 분명해집니다. "입장문 이후 부정 언급이 줄었다"가 아니라 "입장문이 없었다면 얼마나 줄었을까"를 물어야 합니다.

위기 국면은 특히 이 착시가 심한 구간입니다. 여론은 새 이슈가 등장하면 자연 감쇠하고, 위기 발생 직후가 언제나 최고점이라 그다음 어떤 조치를 하든 지표는 내려갑니다. 사전·사후 비교만으로 성과를 보고하면 아무것도 안 했을 때의 회복까지 우리 공로로 계산됩니다.

위기 상황에서 홀드아웃을 어디까지 만들 수 있나

공식 입장문이나 사과문은 홀드아웃 대상이 될 수 없습니다. 안전 정보나 사과를 일부 고객에게 의도적으로 노출하지 않는 설계는 실무적으로도 윤리적으로도 성립하지 않고, 제품 결함처럼 법정 고지 의무가 걸린 사안이라면 애초에 선택지가 아닙니다. 커뮤니케이션 본체는 전원 노출이 전제입니다.

실험 대상은 그 위에 얹는 증폭 층입니다. 입장문을 알리는 유료 광고, 후속 설명 콘텐츠, 검색 광고 대응, 리타게팅 안내 같은 선택적 조치는 노출/비노출을 나눌 수 있습니다. 메타의 리프트 테스트가 대상 오디언스를 무작위로 테스트 그룹과 홀드아웃 그룹으로 나눠 같은 기간의 성과 차이를 비교하는 방식인데, 이때 통제 그룹에 광고가 새어 들어가지 않도록 계정 내 다른 캠페인과 오디언스가 겹치지 않게 격리해야 합니다.

지역 단위 실험은 어떤 조건을 갖춰야 하나

오디언스 격리가 어렵거나 오프라인 매출까지 봐야 한다면 지역 단위 설계가 대안입니다. 실무 가이드는 실험군·대조군 지역을 인구통계가 아니라 과거 매출·주문 같은 행동 지표가 유사한 곳끼리 매칭하고, 최소 10~15개의 매칭 지역을 나누며, 사전 기간 상관계수 95% 이상을 확보할 것을 권합니다. 수준이 아니라 추세가 함께 움직이는지가 핵심이라 두 그룹 지표를 같은 축에 겹쳐 그려 눈으로 확인해야 합니다.

두 가지 함정이 있습니다. 하나는 대조군에서 예산만 줄이는 것으로, 노출이 남아 있으면 대조군이 오염됩니다 — 캠페인을 실제로 일시중지해야 합니다. 다른 하나는 이 권고치가 미국 시장 기준이라는 점입니다. 10~15개 지역·상관 95%·하위 퍼널 4주는 특정 업체들의 권고이지 국내 공식 표준이 아니며, 국내는 지역 수와 지역별 매출 편차가 달라 그대로 적용되지 않을 수 있습니다.

표본과 기간은 무엇으로 정하나

표본 크기 계산에는 네 가지 입력이 필요합니다. 검정력(관행적으로 80%), 유의수준(관행적으로 95%, 즉 α=0.05), 최소 검출 가능 효과(MDE), 그리고 대조군의 기준 전환율입니다. 검출하려는 효과를 크게 잡을수록 필요한 표본과 기간은 급격히 줄어들므로, "5%만 개선돼도 잡아내겠다"는 욕심이 실험 기간을 몇 배로 늘립니다. 80%·95%는 법정 기준이 아니라 업계 관행이라, 되돌리기 어려운 의사결정이면 더 높게 잡을 수도 있습니다.

여기서 통제되는 것은 두 종류의 오류입니다. 1종 오류는 효과가 없는데 있다고 결론 내리는 것이고, 2종 오류는 효과가 있는데 놓치는 것입니다. 유의수준을 낮추면 1종 오류는 줄지만 2종 오류는 늘어나 항상 상충합니다. 위기 커뮤니케이션처럼 예산 재배분을 좌우하는 판단이라면 어느 쪽 오류가 더 비싼지를 먼저 정해두고 수치를 고르는 편이 낫습니다.

결과를 언제 읽어야 하나

가장 흔한 사고는 중간 결과를 계속 들여다보다가 유의해 보이는 순간 실험을 멈추는 것입니다. 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다. 지표를 여러 개 동시에 검정할 때도 같은 문제가 생겨, α=0.05로 100번 검정하면 귀무가설이 전부 참이어도 약 5건의 위양성이 우연히 나옵니다. 본페로니 교정이나 벤저미니-호크버그 절차 같은 보정이 필요한 이유입니다.

전환 지연도 함께 봐야 합니다. 최근 며칠 데이터는 계속 채워지므로 실무 가이드는 리포팅 버퍼를 두고 일정 일수 이내 데이터로는 최종 결정을 하지 않도록 권합니다. 버퍼 길이는 자사 전환 지연 분포를 직접 측정해 정해야 하며, 위기 기간에는 외부 이슈로 트래픽 패턴이 급변하는 오염도 겹치므로 오염 구간을 사전에 제외 규칙으로 정해두는 편이 안전합니다.