왜 종료 시점을 시작 전에 정해야 하나

실무에서 위양성이 가장 흔하게 발생하는 경로는 중간 결과를 들여다보다가 유의해 보이는 순간 테스트를 멈추는 것입니다. 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다.

이 문제는 통계 지식의 문제가 아니라 운영 규칙의 문제입니다. 아무리 잘 아는 사람도 매일 숫자를 보면 좋아 보이는 날 멈추고 싶어집니다. 그래서 시작 전에 종료 조건을 문서에 적고, 그 조건이 충족되기 전에는 승패를 판단하지 않기로 팀이 합의합니다. 중간에는 진행률만 확인합니다.

최소 표본은 무엇으로 계산하나

표본 크기 계산에는 네 가지 입력이 필요합니다. 검정력(관행 기준 80%), 유의수준(관행 기준 95%, 즉 유의확률 0.05), 최소 검출 가능 효과, 그리고 대조군의 기준 전환율입니다.

이 중 팀이 실제로 정하는 값은 최소 검출 가능 효과 하나입니다. 나머지 셋은 관행값이거나 계정 데이터에서 나옵니다. 최소 검출 가능 효과를 작게 잡으면 필요한 표본이 급격히 커지므로, 현실적으로는 "이 정도는 개선돼야 적용할 가치가 있다"는 사업적 기준으로 정합니다.

계산 결과가 지금 트래픽에서 몇 달이 걸린다면 실험 설계 자체를 바꿔야 합니다. 지표를 상위 이벤트로 올리거나, 비교 대상을 줄이거나, 실험 대신 사전 정의된 손절 규칙 운영으로 방향을 바꾸는 선택지가 있습니다.

최소 기간은 무엇이 결정하나

기간은 표본만으로 정해지지 않습니다. 세 가지가 함께 작용합니다.

첫째는 구매 주기입니다. 구글 애즈 고객센터는 실험을 최소 46주 이상 진행할 것을 권하고, 구매 주기가 긴 업종은 전환 주기 12회를 기다리는 것이 좋다고 안내합니다.

둘째는 학습 구간입니다. 구글 애즈 실험은 시작 후 처음 7일간의 데이터를 통계 계산에서 제외합니다. 초기 최적화 과정의 편차를 걷어내기 위해서입니다. 즉 실제 필요한 기간은 계산된 기간에 이 초기 구간을 더한 값입니다.

셋째는 전환 지연입니다. 최근 며칠 데이터는 계속 채워지므로, 실무에서는 일정 일수 이내 데이터로 최종 결정을 하지 않는 리포팅 버퍼를 둡니다. 종료일과 판정일을 분리해 적어두면 이 문제를 피할 수 있습니다.

매체가 공식으로 알려주는 규칙은 무엇인가

구글 애즈 쪽은 비교적 명확합니다. 실험 결과 화면의 신뢰 구간 기본값은 80%이며 사용자가 다른 신뢰수준으로 바꿔 볼 수 있습니다. 결과가 유의미하지 않게 나오는 이유는 기간 부족, 트래픽 부족, 분할 비율 과소, 실제 차이 없음 네 가지로 안내됩니다. 이 네 가지는 종료 시점에 확인하는 점검표로 그대로 쓸 수 있습니다.

메타 쪽에서는 실험 도구가 측정 및 보고 메뉴 안에 있고, 신뢰할 수 있는 데이터를 모으는 데 통상 최소 5~7일이 필요하다는 설명이 널리 통용됩니다. 다만 이 기간 수치는 업계 가이드에서 반복 인용되는 값이며 메타 공식 최소 요건으로 확인된 것은 아닙니다. 실제 판단은 결과 화면이 안내하는 데이터 충분 여부를 함께 보는 편이 안전합니다.

국내 공식 표준이 없는 부분은 어떻게 채우나

소재 피로도 임계치, 세그먼트 최소 크기, A/B 테스트 최소 표본수에 대해 국내 매체사나 관계기관이 공표한 공식 표준 수치는 이번 조사에서 확인되지 않았습니다. 매체가 공식으로 주는 것은 지표 정의와 실험 도구의 집계 규칙 같은 절차적 기준입니다.

그래서 순서를 이렇게 잡습니다. 먼저 매체 공식 규칙을 그대로 따릅니다. 그다음 자사 기준선을 만듭니다. 직전 4주를 기준 구간으로 고정하고, 한 번에 한 항목만 바꾸며, 같은 요일끼리 비교하고, 필요하면 홀드아웃을 둡니다. 마지막으로 남는 값은 팀이 정하되 정한 근거를 문서에 남깁니다. 확인이 필요한 부분은 매체 고객센터에 직접 문의해 답변을 문서에 첨부해두면 다음 분기에 같은 논쟁을 반복하지 않습니다.

조기 종료를 허용하는 예외는 없나

있습니다. 다만 두 경우로 한정합니다. 첫째, 손실이 사전에 정한 한도를 넘은 경우입니다. 이때 종료는 통계적 결론이 아니라 손실 관리이며, 결과는 결론 없음으로 기록합니다.

둘째, 실험 전제가 깨진 경우입니다. 실험 도중 대형 이슈나 프로모션으로 트래픽 패턴이 급변하면 결과가 오염될 수 있고, 이럴 때는 해당 기간 데이터를 제외하거나 실험을 재시작하는 것이 일반적 대응입니다. 이 경우도 승패를 선언하지 않고 재실험으로 처리합니다.