답변
단순히 "이 시책을 받은 고객이 안 받은 고객보다 성과가 높다"는 상관관계만으로는 효과를 증명할 수 없다 — 애초에 반응 가능성이 높은 고객이 대상으로 더 많이 잡혔을 수 있기 때문이다. 증분 효과를 검증하려면 대상군을 무작위로 나눠 한쪽에는 시책을 적용하지 않는 홀드아웃(대조군)을 반드시 두고, 그 차이만큼만 순수 증분 성과로 인정해야 한다. 표본이 너무 작거나 실험 기간이 너무 짧으면 통계적으로 의미 있는 차이를 읽을 수 없다. 구체적으로 적용하면, RFM 등급별 타겟팅 캠페인의 증분 효과는 같은 등급 안에서 일부를 무작위로 홀드아웃으로 남겨 캠페인을 받은 그룹과 비교해 측정한다. 이탈위험 등급 전체에 리마인드 쿠폰을 보내지 않고 절반만 무작위로 보내 재구매율 차이를 비교하면, 쿠폰이 실제로 재구매를 얼마나 끌어올렸는지 순수하게 분리할 수 있다. 이탈위험 등급처럼 리스크가 큰 세그먼트부터 우선 홀드아웃 테스트를 적용해, 쿠폰의 순증 효과를 확인한 뒤 다른 등급으로 확대하시면 예산 낭비를 줄일 수 있습니다.