답변
매체사 협상·보너스 협의의 실험군·대조군을 설계할 때는 통계적 오류를 피하는 게 결과의 신뢰도를 좌우합니다. 실험군·대조군을 비교할 때는 결과를 성급하게 판정하지 않아야 한다. 마케팅 분야에서는 p-value 0.05 미만(신뢰도 95% 이상)을 유의수준 기준으로 흔히 쓰는데, 신뢰도가 목표치에 도달했어도 데이터량(표본 크기)이 충분하지 않으면 그 결과는 신뢰하기 어렵다. 실험군·대조군은 전후 비교가 아니라 같은 기간에 동시에 무작위로 나눠 돌려야 계절성·외부 이벤트 같은 교란 변수를 통제할 수 있다. 실험 도중에 결과를 자주 들여다보고 성급하게 승패를 판정하는 '조기 판정(피킹)'은 통계적 오류의 흔한 원인이다. 초반에 잠깐 유의한 차이가 나타났다가도 표본이 더 쌓이면 사라지는 경우가 흔하므로, 사전에 정한 최소 표본 수·최소 기간을 채운 뒤에만 결과를 확정하는 것이 원칙이다. 매체사 두 곳의 제안 조건을 동시에 검증하고 싶다면, 예산을 일부 나눠 같은 기간·비슷한 상품군에 동시 집행해 비교하는 것이 순차적으로 몰아서 집행하는 것보다 계절성 영향을 덜 받는다. 다만 매체별로 강점 지면·타겟이 다르므로, 단순 CPA 비교보다 각 매체의 특성을 감안한 비교 기준을 미리 합의해야 한다. 이 원칙들을 지키면 우연한 등락을 실제 효과로 오판하는 실수를 줄일 수 있습니다.