답변
실험군·대조군 설계에서 가장 먼저 지켜야 할 것은 변수 격리 원칙입니다. 광고 노출 여부 하나만 다르게 하고 소재·타겟팅·예산 구조 같은 나머지 조건은 동일하게 유지해야, 결과 차이가 정말 '광고 유무' 때문인지 다른 변수 때문인지 구분할 수 있습니다. 메타의 리프트 테스트는 대상 오디언스를 무작위로 테스트(광고 노출)와 통제(광고 비노출/홀드아웃) 그룹으로 나눠 같은 기간 성과를 비교하는 방식으로 이 원칙을 구현합니다. 표본 크기는 기준 전환율·검출하려는 최소 효과 크기·유의수준(보통 95%)·검정력(보통 80%)을 입력해 실험 시작 전에 계산해야 하며, 이 값에 도달하기 전에 중간 결과만 보고 조기 종료하면 우연한 변동을 실제 효과로 오판하는 위험이 커집니다. 통계적 유의성 판단은 관행적으로 p-value 0.05 미만을 기준으로 삼되, 이는 절대적 진리가 아니라 업계 관행이라는 것을 함께 인지해야 합니다. 마지막으로 실험 도중 대형 이슈나 대규모 프로모션 같은 외부 변수가 끼어들면 결과가 오염될 수 있으므로, 그런 사건이 발생한 기간은 분석에서 제외하거나 실험을 재시작하는 것이 표준 대응입니다.