왜 발송군 집계만으로는 안 되나

CRM 성과를 보고할 때 가장 흔한 방식은 메시지를 받은 고객의 구매 금액을 합산하는 것입니다. 문제는 이 합계에 원래 살 예정이던 고객의 구매가 그대로 들어간다는 점입니다. 재구매 주기가 짧은 상품일수록 이 몫이 커지고, 그만큼 CRM의 기여가 부풀려집니다.

부풀려진 숫자는 다음 의사결정을 망칩니다. 실제 기여보다 성과가 좋아 보이면 발송을 늘리게 되고, 발송이 늘면 수신거부와 채널 차단이 따라 늘어 자산이 줄어듭니다. 그래서 측정 방식을 바꾸는 일은 보고서 형식 문제가 아니라 운영 방향을 결정하는 문제입니다.

대조군은 어떻게 만드나

핵심은 무작위입니다. 발송 대상 조건을 만족하는 전체 집단에서 무작위로 일부를 떼어 발송하지 않습니다. 반응이 없던 고객을 모아 대조군으로 삼거나, 발송에 실패한 건을 대조군으로 쓰는 방식은 대조군이 아닙니다. 두 집단의 성질 자체가 다르기 때문에 차이가 나와도 그 원인을 메시지로 돌릴 수 없습니다.

무작위 배정은 고객 단위로 고정하는 편이 관리하기 쉽습니다. 발송할 때마다 다시 뽑으면 같은 고객이 이번 달은 발송군, 다음 달은 대조군이 되어 누적 효과를 볼 수 없습니다. 고객마다 배정 값을 저장해 두고 일정 기간 유지하면 분기 단위 비교도 가능해집니다.

배정 값은 발송 시스템이 아니라 고객 데이터베이스에 두는 편이 안전합니다. 발송 도구를 바꾸면 도구 안에 저장된 배정 정보는 함께 사라지고, 그러면 그때까지 쌓은 비교 기준도 끊깁니다. 도구는 바뀌어도 고객 식별자는 남으므로, 배정 값을 고객 속성으로 관리하면 이 문제를 피할 수 있습니다.

대조군에서 무엇을 빼고 무엇을 남기나

빼는 것은 광고성 메시지 하나뿐입니다. 주문 확인, 배송 안내, 결제 실패 같은 거래 이행 정보는 계약상 전달해야 하는 내용이므로 실험을 이유로 끊으면 안 됩니다. 이 구분이 흐려지면 실험이 아니라 서비스 품질 저하가 됩니다.

또 하나 남겨야 할 것은 고객이 스스로 요청한 알림입니다. 재입고 알림이나 쿠폰 만료 안내처럼 이용자가 신청했거나 이미 보유한 것에 대한 안내는 대조군에서도 그대로 나가야 합니다. 실험 설계서에 발송을 멈출 메시지 목록을 명시적으로 적어 두면 이 경계가 유지됩니다.

표본과 기간은 어떻게 정하나

대조군 비율과 최소 표본 수의 정답값은 공개된 공식 기준이 없습니다. 기준을 잡는 방법은 우리 숫자에서 시작하는 것입니다. 월 전환 건수가 적은 곳에서 대조군을 5퍼센트만 두면 몇 건 차이가 큰 비율 차이로 보여 오판하기 쉽습니다. 반대로 대조군을 지나치게 크게 잡으면 그 기간의 매출을 실제로 포기하게 됩니다.

기간은 구매 주기를 고려해 정합니다. 재구매 주기가 한 달인 상품을 2주만 관찰하면 효과가 나타나기 전에 실험이 끝납니다. 광고 실험 일반의 안내에서도 결과가 유의미하지 않은 흔한 원인으로 관찰 기간이 짧은 것과 전환 수가 적은 것이 꼽힙니다. 기간·표본 수·판정 지표를 시작 전에 적어 두고 중간에 바꾸지 않는 것이 이 설계의 규율입니다.

결과를 어떻게 읽어야 하나

비교할 값은 두 집단의 전환율과 1인당 매출입니다. 두 값이 함께 움직이는지도 봐야 합니다. 전환율은 올랐는데 1인당 매출이 떨어졌다면 할인 때문에 객단가가 깎인 것일 수 있습니다.

증분이 기대만큼 나오지 않았을 때 곧바로 시나리오를 끄는 것도 성급합니다. 관찰 기간이 짧았거나 전환 수가 적었을 가능성을 먼저 확인해야 합니다. 광고 실험 일반에서도 결과가 유의미하지 않은 원인으로 기간 부족과 표본 부족이 먼저 꼽힙니다.

함께 볼 것이 수신거부율과 채널 차단입니다. 발송군에서 이 값이 눈에 띄게 높다면 지금의 성과는 미래의 도달을 당겨쓴 결과입니다. 순수한 기여를 판단하려면 매출 증분에서 발송 비용을 빼고, 잃은 수신자를 다시 확보하는 데 드는 비용까지 함께 놓고 봐야 합니다. 외부 사건이 낀 기간은 결과를 오염시키므로, 대형 프로모션이나 시스템 장애가 있었던 구간은 제외하거나 별도로 표시합니다.

이 설계를 어떻게 정착시키나

한 번의 실험으로 끝내지 말고 상시 대조군을 두는 방식이 관리하기 편합니다. 전체 명단의 일정 비율을 상시 미발송으로 유지하면 언제든 두 집단을 비교할 수 있고, 새 시나리오를 켤 때마다 별도 설계를 하지 않아도 됩니다.

보고서 양식도 함께 바꿉니다. 발송 건수와 클릭률 대신 발송군 전환율, 대조군 전환율, 증분, 발송 비용, 순증분 다섯 칸을 기본으로 두면 논의의 초점이 옮겨집니다. 양식이 바뀌지 않으면 측정 방식도 결국 되돌아갑니다.

상시 대조군을 둘 때 미리 합의해 둘 것이 하나 있습니다. 그 집단에 보내지 않아 발생하는 매출 손실을 측정 비용으로 인정한다는 점입니다. 이 합의가 없으면 매출이 아쉬운 달마다 대조군을 없애자는 요구가 나오고, 그때마다 비교 기준이 끊깁니다. 대조군 비율을 작게 잡더라도 유지되는 쪽이, 크게 잡았다가 몇 달 만에 사라지는 쪽보다 훨씬 쓸모가 큽니다.