답변
성과 부진 계정 개선안의 실험군·대조군을 설계할 때는 통계적 오류를 피하는 게 결과의 신뢰도를 좌우합니다. 실험군·대조군을 비교할 때는 결과를 성급하게 판정하지 않아야 한다. 마케팅 분야에서는 p-value 0.05 미만(신뢰도 95% 이상)을 유의수준 기준으로 흔히 쓰는데, 신뢰도가 목표치에 도달했어도 데이터량(표본 크기)이 충분하지 않으면 그 결과는 신뢰하기 어렵다. 실험군·대조군은 전후 비교가 아니라 같은 기간에 동시에 무작위로 나눠 돌려야 계절성·외부 이벤트 같은 교란 변수를 통제할 수 있다. 실험 도중에 결과를 자주 들여다보고 성급하게 승패를 판정하는 '조기 판정(피킹)'은 통계적 오류의 흔한 원인이다. 초반에 잠깐 유의한 차이가 나타났다가도 표본이 더 쌓이면 사라지는 경우가 흔하므로, 사전에 정한 최소 표본 수·최소 기간을 채운 뒤에만 결과를 확정하는 것이 원칙이다. 성과 부진 계정에 새 개선안(신규 타겟, 신규 랜딩, 신규 입찰전략 등)을 적용할 때는 계정 전체에 한 번에 밀어넣지 않고, 일부 광고세트(실험군)에만 먼저 적용하고 나머지(대조군)는 기존 설정을 유지해 비교하는 것이 안전하다. 계정 예산이 작아 세트를 둘로 나누면 각각의 표본이 부족해질 위험이 있다면, 세트 분리 대신 계절성·프로모션 일정과 겹치지 않는 구간을 골라 전후 비교하는 차선책을 쓴다. 이 원칙들을 지키면 우연한 등락을 실제 효과로 오판하는 실수를 줄일 수 있습니다.