답변
단순히 "이 시책을 받은 고객이 안 받은 고객보다 성과가 높다"는 상관관계만으로는 효과를 증명할 수 없다 — 애초에 반응 가능성이 높은 고객이 대상으로 더 많이 잡혔을 수 있기 때문이다. 증분 효과를 검증하려면 대상군을 무작위로 나눠 한쪽에는 시책을 적용하지 않는 홀드아웃(대조군)을 반드시 두고, 그 차이만큼만 순수 증분 성과로 인정해야 한다. 표본이 너무 작거나 실험 기간이 너무 짧으면 통계적으로 의미 있는 차이를 읽을 수 없다. 구체적으로 적용하면, 이메일·푸시 자동화의 증분 효과는 트리거 대상 고객 중 일부를 무작위로 홀드아웃(발송 제외군)으로 남겨두고, 발송군과 홀드아웃군의 전환율·매출 차이를 비교해 측정한다. 장바구니 이탈 메시지를 받은 그룹과 받지 않은 그룹의 결제 전환율 차이가 그 메시지의 순수 증분 효과다. 전사 발송을 하기 전에 신규 트리거는 항상 소규모 홀드아웃 테스트를 1~2주 먼저 돌려, 실제 순증 효과를 확인한 뒤 전체 확대 여부를 결정하시면 됩니다.