답변
계약 종료·인수인계의 실험군·대조군을 설계할 때는 통계적 오류를 피하는 게 결과의 신뢰도를 좌우합니다. 실험군·대조군을 비교할 때는 결과를 성급하게 판정하지 않아야 한다. 마케팅 분야에서는 p-value 0.05 미만(신뢰도 95% 이상)을 유의수준 기준으로 흔히 쓰는데, 신뢰도가 목표치에 도달했어도 데이터량(표본 크기)이 충분하지 않으면 그 결과는 신뢰하기 어렵다. 실험군·대조군은 전후 비교가 아니라 같은 기간에 동시에 무작위로 나눠 돌려야 계절성·외부 이벤트 같은 교란 변수를 통제할 수 있다. 실험 도중에 결과를 자주 들여다보고 성급하게 승패를 판정하는 '조기 판정(피킹)'은 통계적 오류의 흔한 원인이다. 초반에 잠깐 유의한 차이가 나타났다가도 표본이 더 쌓이면 사라지는 경우가 흔하므로, 사전에 정한 최소 표본 수·최소 기간을 채운 뒤에만 결과를 확정하는 것이 원칙이다. 신규 대행사가 인수한 계정 전체를 한 번에 새 방식으로 바꾸기보다, 일부 계정군은 기존 방식을 유지(대조군)하고 나머지에 신규 방식을 적용(실험군)해 비교하면 인수인계 자체의 충격과 신규 전략의 효과를 분리해 판단할 수 있다. 이 원칙들을 지키면 우연한 등락을 실제 효과로 오판하는 실수를 줄일 수 있습니다.