답변
단순히 "이 시책을 받은 고객이 안 받은 고객보다 성과가 높다"는 상관관계만으로는 효과를 증명할 수 없다 — 애초에 반응 가능성이 높은 고객이 대상으로 더 많이 잡혔을 수 있기 때문이다. 증분 효과를 검증하려면 대상군을 무작위로 나눠 한쪽에는 시책을 적용하지 않는 홀드아웃(대조군)을 반드시 두고, 그 차이만큼만 순수 증분 성과로 인정해야 한다. 표본이 너무 작거나 실험 기간이 너무 짧으면 통계적으로 의미 있는 차이를 읽을 수 없다. 구체적으로 적용하면, 특정 채널·캠페인이 만들어내는 LTV 증분 효과는 그 채널을 껐을 때 실제로 매출이 얼마나 빠지는지를 봐야 정확히 알 수 있다. 지역을 나눠 한쪽만 캠페인을 집행하는 지역 실험이나, 신규 유입 일부를 무작위로 캠페인 미노출군으로 남겨 이후 몇 달간 결제 데이터를 비교하는 방식으로, 단순 신규가입자 수 증가가 아니라 마케팅이 실제로 만든 순증 LTV를 분리해서 봐야 한다. 핵심 채널부터 순서대로 지역 실험(Geo test)을 돌려, 매체가 주장하는 CAC와 실제 증분 CAC 차이를 분기마다 한 번씩 검증하시길 권합니다.