답변
신규 광고주 계정 감사에서 실험군과 대조군을 나눌 때 가장 흔히 생기는 통계적 오류는 선택 편향입니다. 실험군·대조군을 나눌 때 가장 흔한 통계적 오류는 선택 편향입니다. 이미 반응할 가능성이 높은 사람(재방문객, 기존 구매자)만 실험군에 몰리고 대조군은 상대적으로 반응이 낮은 집단으로 채워지면, 실험군의 성과가 좋아 보이는 게 실제 캠페인 효과인지 애초에 다른 집단이었기 때문인지 구분할 수 없습니다. 무작위 배정이나 유사한 과거 행동 패턴으로 짝지은 매칭 방식으로 두 집단의 사전 특성을 최대한 비슷하게 맞추셔야 합니다. 표본이 너무 작거나 관찰 기간이 너무 짧으면 우연에 의한 변동을 실제 효과로 오인하는 오류가 생깁니다. 결론을 내리시기 전에 두 집단의 성과 차이가 우연한 변동 폭보다 뚜렷하게 크게 벌어지는지, 그리고 그 기간이 요일·프로모션 등 다른 변수의 영향을 받지 않는 안정적인 구간인지를 함께 확인하셔야 합니다. 신규 광고주 계정 감사는 계정 구조·측정 설정·과거 성과 이력·예산 입찰 설정 네 영역을 체크리스트로 점검하는 것이 표준 순서이며, 결과는 문제점뿐 아니라 고칠 우선순위까지 정리해서 전달해야 합니다. 신규 광고주 계정 감사를 설계하실 때는 두 집단을 무작위 또는 과거 행동 패턴으로 매칭한 뒤, 결과를 판단하기 전 표본 크기와 관찰 기간이 충분한지부터 점검하시길 권합니다.