답변
상품 피드 품질 개선의 실험군·대조군 설계에서 통계적 오류가 생기는 건 대부분 "그럴듯해 보이는" 설계가 실제로는 원인을 특정할 수 없는 구조이기 때문입니다. 실험군·대조군을 설계할 때 가장 흔한 통계적 오류는 한 번에 여러 변수를 동시에 바꾸는 것이다. 변수를 하나씩만 바꿔야 결과 차이의 원인을 그 변수 하나로 특정할 수 있고, 여러 축을 동시에 바꾸면 어느 쪽이 승패를 갈랐는지 설명할 수 없는 데이터가 된다. 실험 전에 표본 크기와 필요 기간을 사전에 계산해야 한다. 트래픽이 적은 계정·사이트는 통계적으로 유의미한 표본을 채우는 데 걸리는 기간까지 함께 계산해야 그 실험이 현실적으로 가능한지 판단할 수 있고, 실험 도중 외부 변수(대형 이슈, 시즌성 트래픽 폭증)로 오염된 기간의 데이터는 제외하거나 심하면 실험 자체를 재시작해야 한다. 같은 SKU를 두 캠페인에 동시에 노출시키면 두 캠페인이 서로의 입찰을 잠식하는 자기잠식(self-cannibalization)이 일어나 실험군·대조군 비교 자체가 무의미해진다. 피드 규칙(제목 포맷 등) 변경을 테스트할 때는 캠페인 우선순위나 제외 설정으로 트래픽을 SKU 단위에서 확실히 분리해야 한다. 이 원칙을 지키면 실험 결과가 나왔을 때 "그래서 뭐가 원인이었는지"를 자신 있게 설명할 수 있습니다.