계산에 필요한 네 개의 입력값은 각각 무엇인가

표본 크기 계산은 네 개의 숫자만 정해지면 기계적으로 끝납니다. 첫째, 검정력(Statistical Power)은 실제로 효과가 있을 때 그것을 찾아낼 확률이며 관행적 기준은 80%입니다. 둘째, 유의수준은 실제로 차이가 없는데 있다고 잘못 선언할 확률의 상한이며 관행은 95%(α=0.05)입니다. 셋째, 최소 검출 가능 효과(MDE)는 "이 정도는 잡아내야 실험한 보람이 있다"는 최소 개선폭입니다. 넷째, 기준 전환율은 대조군에서 평소 나오는 전환율입니다. 앞의 두 값은 Z값으로 들어가는데 95% 유의수준은 1.96, 80% 검정력은 0.84입니다. 여기서 실무자가 가장 흔히 헷갈리는 지점은 MDE입니다. MDE를 5%로 잡으면 필요한 표본이 폭증하고, 20%로 잡으면 급격히 줄어듭니다. 그러니 MDE는 통계 담당자가 아니라 의사결정자가 정해야 합니다 — "몇 % 이상 올라야 이 채널 예산을 옮길 것인가"라는 질문에 광고주가 답한 숫자가 곧 MDE입니다.

실제 계산은 어떤 순서로 하는가

순서는 이렇습니다. ① 최근 4~8주 자사 데이터에서 대조군에 해당할 모수의 기준 전환율(p)을 구합니다. 이때 프로모션 기간처럼 이례적인 구간은 빼고 평상시 값을 씁니다. ② 의사결정자와 MDE를 합의합니다. 상대 개선폭(예: 전환율 2.0% → 2.2%, 상대 10%)인지 절대 개선폭(2.0%p → 2.2%p)인지 표기를 반드시 통일합니다. 이 표기 혼동이 실무에서 표본 계산을 두 배 이상 어긋나게 하는 흔한 원인입니다. ③ 두 비율 비교 공식에 넣습니다. 각 그룹당 필요 표본 n은 (Z_α/2 + Z_β)² × [p₁(1−p₁) + p₂(1−p₂)] ÷ (p₁ − p₂)² 형태이며, Z_α/2 = 1.96, Z_β = 0.84를 대입합니다. ④ 나온 n을 자사 일간 유입·전환량으로 나눠 필요한 실험 일수를 구합니다. ⑤ 그 일수가 현실적으로 감당 가능한지 판단합니다. 감당이 안 되면 표본을 늘리는 게 아니라 MDE를 올리거나(더 큰 효과만 잡겠다고 인정하거나), 검정력을 낮추거나, 실험 자체를 접는 세 갈래 중에서 고릅니다. 이 판단을 미리 해두는 것이 표본 계산의 진짜 목적입니다.

매체가 제시하는 최소 요건은 어디까지 믿어야 하는가

업계에는 전환 리프트 테스트를 신뢰성 있게 돌리려면 테스트 기간 중 주당 최소 100건 이상의 전환이 필요하다는 가이드가 통용됩니다. 또 리프트 테스트 시작 전에 최소 24주간 안정적인 전환 데이터(픽셀·전환 API 정상 수신)가 쌓여 있어야 하고 최근 정책 위반 이력이 없는 계정이어야 한다는 안내도 있습니다. 다만 이 수치들은 메타 공식 문서에서 확인된 값이 아니라 3차 매체가 정리한 업계 권고치입니다. 계정 규모와 업종에 따라 메타가 요구하는 실제 최소값은 다를 수 있으므로, 최종 기준은 Ads Manager에서 실험을 생성할 때 화면에 뜨는 계정별 최소 요건으로 삼으십시오. 실험 기간도 마찬가지입니다. 메타 A/B 테스트는 통상 최소 57일이 필요하다고 안내되지만 이는 알고리즘 학습 기간과 맞물린 통념이지 절대 기준이 아닙니다. 지역 단위 실험이라면 최소 10~15개의 매칭 지역, 사전 기간 상관계수 95% 이상, 하위 퍼널 4주·상위 퍼널 8주라는 권고치가 돌지만 이 역시 특정 업체들의 권고이지 공식 표준이 아니고, 국내는 지역 수와 지역별 매출 규모가 달라 그대로 적용되지 않습니다.

계산 결과를 무너뜨리는 실수는 무엇인가

표본을 제대로 계산해놓고도 결과를 못 쓰게 만드는 실수가 셋 있습니다. 첫째는 사후 검정력 계산입니다. 이미 끝난 실험 결과를 놓고 "검정력이 얼마였다"를 역산하는 것은 통계적으로 오해를 부르는 방식이며, 계산은 시작 전에만 의미가 있습니다. 둘째는 중간에 들여다보다 유의해 보이는 순간 멈추는 것(peeking)입니다. 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아져, 애초에 정한 유의수준이 무의미해집니다. 계산된 표본에 도달하기 전에는 결과를 보지 않거나, 보더라도 중단 권한을 실험 담당자에게 주지 않는 규칙이 필요합니다. 셋째는 오디언스 오염입니다. 리프트 테스트는 통제 그룹에 광고가 아예 노출되지 않아야 성립하므로, 계정 내 다른 캠페인과 오디언스가 겹치면 계산한 표본이 온전해도 결과가 오염됩니다. 실험 기간 중 같은 모수를 건드리는 캠페인 목록을 사전에 뽑아 정지하거나 제외해두십시오. 지역 실험이라면 대조군은 예산을 줄이는 게 아니라 캠페인을 실제로 일시중지해야 합니다 — 예산만 줄이면 노출이 남아 오염됩니다.

실험 계획서에 반드시 적어둘 항목은 무엇인가

표본 계산 결과는 머릿속이 아니라 문서에 남깁니다. 계획서에는 ① 기준 전환율과 그것을 뽑은 기간·필터 조건 ② 합의된 MDE와 상대/절대 표기 ③ 채택한 검정력·유의수준과 그 값을 그렇게 정한 이유 ④ 계산된 그룹당 표본과 예상 실험 일수 ⑤ 중간 확인을 언제·누가 하고 중단 권한은 누구에게 있는지 ⑥ 실험 기간 중 정지·제외할 캠페인 목록 ⑦ 결과를 어떤 조건에서 예산에 반영할지를 적습니다. ③을 적어두는 이유는 80%·95%가 법정 기준이 아니기 때문입니다. 리스크가 큰 의사결정이면 검정력을 90%로 올려도 되고, 탐색적 실험이면 낮춰도 됩니다 — 다만 그 선택을 사전에 적어두지 않으면 결과가 나온 뒤 기준을 바꾸는 유혹에 빠집니다.