답변
구글 검색광고 쿼리 관리에서 실험군·대조군을 나눌 때 가장 흔한 통계적 오류는 표본 크기를 사전에 계산하지 않고 며칠 지켜본 뒤 감으로 승패를 판정하는 것입니다. 실험을 시작하기 전에 기준 전환율, 검출하려는 최소 효과 크기(MDE), 유의수준(보통 95%), 검정력(보통 80%)을 입력해 필요한 표본 크기를 먼저 계산해야 합니다. 이 값에 도달하기 전에 중간 결과만 보고 조기 종료하면, 우연한 변동을 실제 효과로 오인할 위험이 커집니다. 변경 요소도 하나로 한정해야 합니다 — 소재와 타겟팅을 동시에 바꾸면 어느 쪽이 차이를 만들었는지 특정할 수 없습니다. 판정 기준도 실무에서 자주 흔들립니다. 구글 애즈는 통계적 유의성을 1-p값 기반의 "신뢰도"로 표현하고 50% 이상을 최소 기준으로 보지만, 광고주에게 확신 있게 보고하려면 90% 이상을 목표로 삼는 편이 안전합니다. 실험 도중 프로모션이나 외부 이슈로 트래픽이 급변한 구간이 있었다면 그 기간은 제외하거나 실험을 재시작하는 것이 원칙입니다. 다음 실험을 설계할 때는 표본 크기 계산부터 스프레드시트에 기록해두고, 그 값에 도달하기 전까지는 어느 안이 이기고 있어도 "아직 판단 보류"로 못박아두세요.