홀드아웃 크기는 무엇과 무엇의 절충인가

리프트 테스트는 대상 오디언스를 무작위로 광고 노출 그룹과 비노출 홀드아웃 그룹으로 나눠, 같은 기간 두 그룹의 전환 성과 차이를 비교하는 방식입니다. 여기서 홀드아웃은 측정을 위해 의도적으로 매출을 포기하는 집단입니다. 그래서 크기 결정은 통계만의 문제가 아닙니다.

두 방향에서 숫자를 각각 뽑아야 합니다. 하나는 "이 정도 차이를 잡아내려면 각 군에 최소 몇 명이 필요한가"라는 통계 요건이고, 다른 하나는 "이 사람들에게 광고를 안 보내면 실험 기간에 얼마를 잃는가"라는 기회비용입니다. 앞의 숫자가 뒤의 숫자를 넘어서면 그 실험은 지금 규모에서 할 수 없는 실험입니다. 이 판단을 먼저 해두는 것이 홀드아웃 설계의 실제 목적입니다.

통계 요건 쪽 숫자는 어떻게 구하나

표본 크기 계산에는 네 가지 입력이 필요합니다. 검정력(관행 기준 80%), 유의수준(관행 95%, α=0.05), 최소 검출 가능 효과(MDE), 그리고 대조군의 기준 전환율입니다. 계산 절차와 공식 자체는 과목 235의 표본 크기 편에서 다루므로 여기서는 결정에 필요한 성질만 짚습니다.

핵심 성질은 MDE와 표본의 관계입니다. 잡아내려는 효과를 작게 잡을수록 필요한 표본이 급격히 늘어납니다. 증분 실험에서 흔한 실수는 MDE를 분석 담당자가 임의로 5%로 잡고 시작하는 것입니다. MDE는 "몇 퍼센트 이상 차이가 나야 예산을 옮길 것인가"에 대한 의사결정자의 답이어야 합니다. 예산을 옮기는 기준이 20%라면 5%를 검출하려고 표본을 키울 이유가 없습니다.

기회비용 쪽 숫자는 어떻게 구하나

기회비용 계산은 단순합니다. ① 홀드아웃 비율을 후보값(예: 5%, 10%, 20%)으로 놓습니다. ② 해당 모수가 평상시 기간당 만들어내던 매출을 최근 4~8주 평균으로 구합니다. ③ 실험 기간을 곱합니다. ④ 여기서 홀드아웃이라도 자연 발생했을 매출은 그대로 발생한다는 점을 빼야 합니다. 실제로 포기하는 것은 광고가 만들어냈을 증분분뿐입니다.

④를 빠뜨리면 기회비용이 실제보다 크게 나와, 필요한 실험을 못 하게 됩니다. 반대로 이 값을 정확히 알 수 없다는 점도 인정해야 합니다. 증분분을 이미 알고 있다면 애초에 실험할 이유가 없기 때문입니다. 그래서 실무에서는 보수적 추정치를 두 개(낙관·비관) 만들어 범위로 보고하는 편이 낫습니다.

매체가 말하는 최소 요건은 어디까지 믿어야 하나

리프트 테스트를 신뢰성 있게 돌리려면 테스트 기간 중 주당 최소 100건 이상의 전환이 필요하다는 가이드가 업계에서 통용되고, 시작 전 최소 2~4주간 안정적인 전환 데이터가 쌓여 있어야 한다는 안내도 함께 돌아다닙니다. 두 수치 모두 특정 업체·매체 가이드에서 나온 권고치이며 공식 표준이 아닙니다. 국내 계정에 그대로 적용되는 기준으로 공개된 공식 자료는 확인되지 않습니다.

그러면 무엇을 근거로 삼아야 하는가. 순서는 이렇습니다. ① 매체 담당자에게 해당 계정에서 리프트 테스트 실행 요건을 직접 문의해 답변을 문서로 남깁니다. ② 자사 데이터로 기준선을 세웁니다. 최근 4주간 주별 전환수의 평균과 변동폭을 구하고, 프로모션 구간은 제외합니다. ③ 그 변동폭보다 작은 효과는 애초에 이 계정에서 검출되지 않는다는 점을 인정하고 MDE를 그 위로 설정합니다. ④ 한 번에 한 항목만 바꾸고 같은 요일끼리 비교하는 원칙을 적용합니다.

요건을 못 채우는 계정은 무엇을 해야 하나

전환량이 작은 계정에서 사용자 단위 홀드아웃을 고집하면 실험 기간이 비현실적으로 길어집니다. 이때 선택지는 세 갈래입니다. 첫째, MDE를 키웁니다. 작은 차이를 포기하고 큰 차이만 잡겠다고 인정하는 것입니다. 둘째, 측정 대상 지표를 상위 이벤트로 올립니다. 구매 대신 장바구니 담기나 상담 신청처럼 발생량이 많은 이벤트를 대리 지표로 쓰되, 그 지표와 매출의 관계를 별도로 확인해 둡니다. 셋째, 사용자 단위가 아니라 지역 단위 설계로 바꿉니다.

셋째 선택지가 중요한 이유는 모수 부족 문제의 성격이 다르기 때문입니다. 지역 단위 실험은 개인이 아니라 지역을 관측 단위로 삼기 때문에, 전환 건수가 적어도 지역별 매출 시계열이 안정적이면 설계가 성립할 수 있습니다. 다만 이 경우 필요한 것은 사람 수가 아니라 매칭 가능한 지역 쌍의 개수이므로, 검토 순서 자체가 달라집니다.

홀드아웃이 실제로 비어 있는지 어떻게 확인하나

크기를 정했어도 홀드아웃에 광고가 새어 들어가면 실험은 무효입니다. 점검 항목은 네 가지입니다. ① 같은 계정의 다른 캠페인이 같은 오디언스에 도달하고 있지 않은가 ② 리타게팅·브랜드 검색처럼 대상 지정이 느슨한 캠페인이 홀드아웃을 건드리지 않는가 ③ 실험 기간 중 새 캠페인이 추가되지 않도록 계정 변경을 잠갔는가 ④ 홀드아웃 대상자에게 다른 채널(이메일·알림톡)의 프로모션이 나가고 있지 않은가.

④는 자주 빠지는 항목입니다. 광고는 껐는데 CRM 메시지는 그대로 나가면, 그 실험이 재는 것은 광고의 증분이 아니라 광고와 CRM의 조합 대비 CRM 단독의 차이입니다. 결과가 낮게 나오는 이유가 여기에 있는 경우가 실제로 있습니다.