두 오류가 실제로 무슨 손해로 바뀌나요

1종 오류는 실제로는 차이가 없는데 '효과가 있다'고 결론 내리는 오류이고, 그 확률은 유의수준으로 통제됩니다(임계값 5%면 1종 오류율 5%). 실무에서는 없는 효과를 믿고 예산을 옮기는 손해로 나타납니다. 새 소재가 이겼다고 판단해 전 캠페인에 확대 적용했는데 다음 달 성과가 그대로인 상황이 여기에 해당합니다.

2종 오류는 실제로 효과가 있는데 '차이 없음'으로 놓치는 오류이며, 확률은 검정력의 여집합입니다. 검정력 80%로 설계한 실험은 진짜 효과가 있어도 다섯 번 중 한 번은 놓친다는 뜻입니다. 실무 손해는 더 조용합니다. 증분이 있는 매체를 "유의하지 않았다"는 이유로 껐다면, 그 손실은 리포트 어디에도 남지 않습니다. 그래서 광고주에게 "효과 없음"이 아니라 "이번 설계로는 이 크기의 효과를 잡아낼 검정력이 부족했다"고 표현해야 정확합니다.

실험을 걸기 전에 계산해야 할 네 가지 입력

A/B 테스트 표본 크기 계산에는 네 가지 입력이 필요합니다. 검정력(관행적 기준 80%), 유의수준(관행적 기준 95%, 즉 α=0.05), 최소 검출 가능 효과(MDE), 그리고 대조군의 기준 전환율입니다. 95% 유의수준의 Z값은 1.96, 80% 검정력의 Z값은 0.84입니다. 검출하려는 효과 크기를 크게 잡을수록(5% 대신 20% 상승) 필요한 표본과 기간은 급격히 줄어듭니다.

여기서 실무적으로 가장 중요한 결정은 MDE입니다. MDE를 작게 잡으면 통계적으로는 정교하지만 필요한 표본이 계정 규모를 넘어서 실험 자체가 성립하지 않습니다. 그래서 순서를 뒤집는 편이 낫습니다. 먼저 "이번 분기에 확보 가능한 전환 건수"를 세고, 그 표본으로 검출 가능한 최소 효과가 몇 퍼센트인지 역산한 다음, 그 숫자가 의사결정에 쓸모 있는 크기인지 광고주와 먼저 합의하는 것입니다. 역산 결과가 "30% 이상 차이가 나야 잡힌다"라면, 그 실험은 돌리기 전에 설계를 바꾸거나 기간을 늘려야 합니다.

검정력 분석은 반드시 테스트 시작 전에 해야 합니다. 이미 끝난 테스트에 대한 사후(post-hoc) 검정력 계산은 통계적으로 오해를 부릅니다. 그리고 80%·95%는 법정 기준이 아니라 업계 관행이므로, 예산 재배분처럼 되돌리기 어려운 결정에는 더 보수적으로, 소재 탐색처럼 실패 비용이 낮은 실험에는 느슨하게 가져가는 선택이 가능합니다.

중간에 들여다보는 것만으로 위양성률이 오르는 이유

실무 A/B 테스트에서 1종 오류가 가장 흔하게 발생하는 경로는 중간 결과를 계속 들여다보다가 유의해 보이는 순간 테스트를 멈추는 것입니다. 이렇게 하면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다. 검정을 여러 번 반복하는 것과 같은 효과가 나기 때문입니다.

막는 방법은 기술이 아니라 운영 규칙입니다. ① 실험 시작 전에 종료 조건(목표 표본 또는 종료일)을 문서로 확정합니다. ② 종료 조건 전까지는 대시보드에서 유의성 판정 열을 숨기거나, 조기 종료 판단 권한을 가진 사람을 한 명으로 제한합니다. ③ 조기 중단이 필요한 상황(집행 사고, 심각한 성과 악화)은 '통계적 유의성'이 아니라 별도의 사전 정의된 사유로만 허용합니다. ④ 중간 점검은 하되 그 목적을 '구현 오류 확인'으로 한정하고, 성과 비교는 하지 않습니다.

지표를 여러 개 보면 왜 위양성이 늘어나나요

여러 가설검정을 동시에 돌리면 최소 한 번 1종 오류를 낼 확률이 검정 수에 따라 커지는 다중비교 문제(alpha inflation)가 발생합니다. 귀무가설이 전부 참이어도 α=0.05로 100번 검정하면 약 5건의 위양성이 우연히 나옵니다. 캠페인 5개 × 지표 6개를 한 표에 놓고 "유의한 칸"을 찾는 순간 이 함정에 들어갑니다.

실무 대응은 세 단계입니다. 첫째, 판정용 주지표(primary metric)를 하나로 미리 고정하고 나머지는 참고 지표로 명시합니다. 둘째, 그래도 다수 검정이 불가피하면 본페로니(Bonferroni) 교정이나 벤저미니-호크버그(Benjamini-Hochberg) 절차 같은 보정 방법을 적용합니다. 셋째, 세그먼트를 쪼개 사후에 "모바일에서는 유의했다"를 찾아내는 분석은 결론이 아니라 다음 실험의 가설로만 씁니다.

증분성 실험에서 두 오류를 어디서 만나게 되나요

리프트 테스트에는 최소 전환 볼륨 요건이 붙습니다. 신뢰성 있게 돌리려면 테스트 기간 중 주당 최소 100건 이상의 전환이 필요하다는 가이드가 업계에 통용되지만, 이는 3차 매체 수치이고 메타 공식 최소값과 다를 수 있으므로 Ads Manager에서 리프트 테스트를 생성할 때 화면에 뜨는 계정별 최소 요건을 최종 기준으로 삼아야 합니다. 이 요건이 사실상 2종 오류 통제 장치입니다. 볼륨이 모자란 상태로 돌린 실험은 "효과 없음"이 아니라 "판정 불가"를 만들어냅니다.

지역 단위 실험에서는 기간이 같은 역할을 합니다. 실무 가이드는 하위 퍼널 전환 캠페인 최소 4주, 브랜드·상위 퍼널은 8주를 권하는데, 이는 특정 업체의 권고치이지 공식 표준이 아닙니다. 또한 같은 지역에서 다른 실험을 겹쳐 돌리지 않아야 합니다. 겹치면 다중비교와 오염이 동시에 일어나 두 오류를 모두 키웁니다.

광고주에게 결과를 전달할 때의 표현 규칙

"유의했다/아니다"의 이분법으로만 보고하면 두 오류가 모두 숨습니다. 대신 세 가지를 함께 적으세요. 관측된 차이의 크기, 그 차이의 신뢰구간, 그리고 이번 설계가 검출할 수 있었던 최소 효과(MDE)입니다. 결과가 유의하지 않았다면 "효과가 없다"가 아니라 "MDE 15% 설계에서 관측 차이는 4%였고, 이 크기는 이번 표본으로 판정할 수 없다"로 씁니다. MMM처럼 베이지안 방식으로 추정한 결과도 점추정치 하나가 아니라 확률분포(신뢰구간)로 나오므로, '정확히 몇 퍼센트'가 아니라 '가장 그럴듯한 범위'로 해석해 전달해야 합니다.