답변
퍼널별 리타게팅의 실험군·대조군 설계에서 통계적 오류가 생기는 건 대부분 "그럴듯해 보이는" 설계가 실제로는 원인을 특정할 수 없는 구조이기 때문입니다. 실험군·대조군을 설계할 때 가장 흔한 통계적 오류는 한 번에 여러 변수를 동시에 바꾸는 것이다. 변수를 하나씩만 바꿔야 결과 차이의 원인을 그 변수 하나로 특정할 수 있고, 여러 축을 동시에 바꾸면 어느 쪽이 승패를 갈랐는지 설명할 수 없는 데이터가 된다. 실험 전에 표본 크기와 필요 기간을 사전에 계산해야 한다. 트래픽이 적은 계정·사이트는 통계적으로 유의미한 표본을 채우는 데 걸리는 기간까지 함께 계산해야 그 실험이 현실적으로 가능한지 판단할 수 있고, 실험 도중 외부 변수(대형 이슈, 시즌성 트래픽 폭증)로 오염된 기간의 데이터는 제외하거나 심하면 실험 자체를 재시작해야 한다. 리타게팅은 원래 구매 의사가 이미 형성된 유저를 대상으로 하기 때문에 라스트클릭 기준 ROAS가 구조적으로 높게 나오는 착시가 있다. 홀드아웃(비노출 대조군) 없이 라스트클릭 ROAS만 보고 실험군·대조군을 설계하면, 광고 때문에 추가로 발생한 매출(순증분)인지 원래 발생했을 매출인지 구분할 수 없다 — 홀드아웃 그룹을 둬야 실제 순증분을 측정할 수 있다. 이 원칙을 지키면 실험 결과가 나왔을 때 "그래서 뭐가 원인이었는지"를 자신 있게 설명할 수 있습니다.