답변
단순히 "이 시책을 받은 고객이 안 받은 고객보다 성과가 높다"는 상관관계만으로는 효과를 증명할 수 없다 — 애초에 반응 가능성이 높은 고객이 대상으로 더 많이 잡혔을 수 있기 때문이다. 증분 효과를 검증하려면 대상군을 무작위로 나눠 한쪽에는 시책을 적용하지 않는 홀드아웃(대조군)을 반드시 두고, 그 차이만큼만 순수 증분 성과로 인정해야 한다. 표본이 너무 작거나 실험 기간이 너무 짧으면 통계적으로 의미 있는 차이를 읽을 수 없다. 구체적으로 적용하면, 리텐션 개선 시책의 증분 효과는 특정 코호트에만 리텐션 캠페인(재방문 유도 메시지 등)을 적용하고, 같은 시기 유입된 비교 코호트에는 적용하지 않은 뒤 두 코호트의 리텐션 곡선 차이를 비교해 측정한다. 시책을 적용하지 않아도 자연적으로 재방문하는 고객까지 성과로 잡지 않으려면 이 대조군 비교가 필수다. 리텐션 캠페인을 확대 적용하기 전에, 먼저 소규모 코호트 2개(적용군/비적용군)로 4~8주 테스트를 돌려 곡선 차이를 확인하고 확대하시면 됩니다.