승자 선언과 전면 적용은 왜 다른 결정인가

승자 선언은 "두 안 중 어느 쪽이 이 조건에서 더 나았는가"에 대한 답입니다. 전면 적용은 "이 결과를 계정 전체에 옮겨도 되는가"에 대한 답입니다. 두 번째 질문에는 실험이 답해주지 않는 요소가 섞여 있습니다. 다른 세그먼트에서도 같은 결과가 나올지, 지금 학습 상태에서 바꿔도 되는지, 제작 여력이 뒷받침되는지 같은 것들입니다.

그래서 실험 결과 문서에는 두 칸을 따로 둡니다. 하나는 실험 결론, 다른 하나는 적용 결정입니다. 두 칸이 다를 수 있다는 것을 팀이 받아들이면 불필요한 논쟁이 크게 줄어듭니다.

미뤄야 하는 첫 번째 경우는 차이가 작을 때다

p값이 낮다고 효과가 크다는 뜻은 아니며 둘은 별개 개념입니다. 표본이 아주 크면 실무적으로 미미한 차이도 통계적으로 유의하게 나올 수 있습니다.

그래서 실험 설계 단계에서 최소 검출 가능 효과를 정해둡니다. 표본 크기 계산에는 검정력, 유의수준, 최소 검출 가능 효과, 대조군 기준 전환율 네 가지 입력이 필요한데, 이 중 최소 검출 가능 효과가 곧 적용할 가치가 있는 개선폭입니다. 실제 차이가 이 값에 못 미치면 유의해도 적용을 보류합니다. 제작·교체에 드는 비용이 개선분보다 클 수 있기 때문입니다.

두 번째 경우는 데이터가 아직 확정되지 않았을 때다

전환 지연 때문에 최근 며칠 데이터는 계속 채워집니다. 실무 가이드가 리포팅 버퍼 정책을 두어 일정 일수 이내 데이터로는 최종 결정을 하지 않도록 권하는 이유가 이것입니다.

구매 주기가 긴 업종일수록 이 문제가 큽니다. 구글 애즈 고객센터도 실험을 최소 46주 이상 진행하고 구매 주기가 긴 업종은 전환 주기 12회를 기다리라고 안내합니다. 실험 기간을 채웠더라도 마지막 며칠의 전환이 아직 잡히지 않았다면, 그 며칠이 채워질 때까지 적용을 미루는 것이 맞습니다.

세 번째 경우는 실험 기간이 오염됐을 때다

실험 도중 대형 이슈나 프로모션 같은 외부 변수로 트래픽 패턴이 급변하면 결과가 오염될 수 있으며, 이런 경우 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적 대응입니다.

오염 여부는 실험 지표만 봐서는 잘 안 보입니다. 같은 기간의 전체 트래픽 추이, 프로모션 일정, 매체 공지를 함께 놓고 봐야 합니다. 실험 대장에 기간 중 특이사항 칸을 두면 이 확인이 습관이 됩니다.

네 번째와 다섯 번째 경우는 학습 불안정과 세그먼트별 편차다

최근에 예산이나 최적화 이벤트를 바꿨다면 계정이 학습 구간에 있을 수 있습니다. 구글 광고 학습 기간은 통상 7일 정도지만 예산·전환 데이터 수량·설정 변경 빈도에 따라 14일 이상 늘어날 수 있습니다.

학습 구간에 소재를 전면 교체하면 두 변화가 겹쳐 이후 성과 해석이 불가능해집니다. 이 경우 학습이 안정될 때까지 기다리거나, 전면 교체 대신 기존 세트 안에 승자 소재를 추가하고 기존 소재를 서서히 정지하는 방식을 씁니다. 캠페인을 끄지 않고 새 소재를 옆에 넣은 뒤 학습을 벗어나면 저성과 소재만 개별 정지하는 방식이 권장되는 이유입니다.

다섯 번째 경우는 승자가 특정 세그먼트에서만 이겼을 때입니다. 전체 평균으로 이겼더라도 세그먼트별로 쪼개면 한쪽에서만 크게 이기고 다른 쪽에서는 진 경우가 있습니다. 이때 전면 적용하면 진 세그먼트의 성과를 깎게 됩니다.

확인 방법은 간단합니다. 결과를 세그먼트별로 나눠 방향이 일치하는지 봅니다. 방향이 갈리면 전면 적용이 아니라 세그먼트별 적용으로 결정을 바꿉니다. 다만 쪼갠 표본이 작아지면 각 칸의 신뢰도가 떨어지므로, 이 확인은 승패 판정이 아니라 적용 범위 판단에만 씁니다.

미룬 결정은 어떻게 기록하나

적용을 미루면 다음 주 회의에서 같은 논쟁이 반복되기 쉽습니다. 기록으로 막습니다. 실험명, 결론, 적용 보류 사유, 재검토 조건, 재검토 예정일 다섯 칸을 남깁니다.

재검토 조건을 구체적으로 적는 것이 핵심입니다. 예를 들어 전환 지연이 이유였다면 며칠 뒤 데이터로 다시 본다고 적고, 학습 불안정이 이유였다면 학습 안정 확인 후로 적습니다. 조건이 없으면 보류는 사실상 폐기가 됩니다.