답변
대형 광고주 연간 미디어믹스에서 실험군과 대조군을 나눌 때 가장 흔히 생기는 통계적 오류는 선택 편향입니다. 실험군·대조군을 나눌 때 가장 흔한 통계적 오류는 선택 편향입니다. 이미 반응할 가능성이 높은 사람(재방문객, 기존 구매자)만 실험군에 몰리고 대조군은 상대적으로 반응이 낮은 집단으로 채워지면, 실험군의 성과가 좋아 보이는 게 실제 캠페인 효과인지 애초에 다른 집단이었기 때문인지 구분할 수 없습니다. 무작위 배정이나 유사한 과거 행동 패턴으로 짝지은 매칭 방식으로 두 집단의 사전 특성을 최대한 비슷하게 맞추셔야 합니다. 표본이 너무 작거나 관찰 기간이 너무 짧으면 우연에 의한 변동을 실제 효과로 오인하는 오류가 생깁니다. 결론을 내리시기 전에 두 집단의 성과 차이가 우연한 변동 폭보다 뚜렷하게 크게 벌어지는지, 그리고 그 기간이 요일·프로모션 등 다른 변수의 영향을 받지 않는 안정적인 구간인지를 함께 확인하셔야 합니다. 대형 광고주 연간 미디어믹스는 상반기에 채널 테스트 비중을 높이고 하반기로 갈수록 검증된 채널에 집중하는 방식이 흔히 쓰이며, 분기 단위 중간 점검 시점을 계약서에 미리 못박아 두는 것이 조정 근거가 됩니다. 대형 광고주 연간 미디어믹스를 설계하실 때는 두 집단을 무작위 또는 과거 행동 패턴으로 매칭한 뒤, 결과를 판단하기 전 표본 크기와 관찰 기간이 충분한지부터 점검하시길 권합니다.