유의하지 않다는 결과는 무엇을 말해주나

통계적 유의성 판단은 관행적으로 p-value 0.05 미만을 기준으로 삼습니다. 이 기준을 넘지 못했다는 것은 "관측된 차이가 우연으로 설명될 여지가 남아 있다"는 뜻이지, "차이가 없다"는 증명이 아닙니다. 실제로 효과가 있는데 놓치는 오류가 2종 오류이며, 그 확률은 검정력의 여집합입니다. 검정력 80%로 설계했다면 실제 효과가 있어도 20%의 확률로 못 잡습니다.

그래서 첫 질문은 "효과가 없었나"가 아니라 "이 설계가 잡아낼 수 있는 효과의 크기가 얼마였나"입니다. 설계 단계에서 정한 최소 검출 가능 효과보다 실제 효과가 작았다면, 유의하지 않게 나오는 것이 정상 작동입니다.

원인을 어떻게 좁히나

구글 애즈는 실험 결과가 통계적으로 유의미하지 않게 나오는 이유로 네 가지를 공식 안내합니다. ① 실험이 충분한 기간 진행되지 않음 ② 캠페인 트래픽 자체가 부족함 ③ 트래픽 분할 비율이 너무 작아 실험 쪽 트래픽이 부족함 ④ 적용한 변경사항이 실제로 유의미한 차이를 만들지 않음입니다. 증분 실험에도 그대로 적용되는 분류입니다.

점검 순서는 ①~③을 먼저 확인하고 ④를 마지막에 두는 것입니다. 순서를 뒤집으면 설계 결함을 효과 없음으로 결론 내리게 됩니다. 확인 방법도 단순합니다. 실제 누적 표본이 설계 시 계산한 필요 표본에 도달했는지, 기간이 계획대로 채워졌는지, 홀드아웃 비율이 계획대로 유지됐는지 세 줄을 대조하면 됩니다.

신뢰구간을 어떻게 읽어야 하나

p값 하나로 판단하면 두 가지 상황이 구분되지 않습니다. 하나는 효과가 0에 가깝다는 것이 꽤 정밀하게 확인된 상황이고, 다른 하나는 효과가 클 수도 작을 수도 있어 아무것도 모르는 상황입니다. 이 둘을 가르는 것이 신뢰구간의 폭입니다.

읽는 방법은 이렇습니다. 신뢰구간이 -3%에서 +4% 사이라면, 큰 효과가 있을 가능성은 사실상 배제됐다고 볼 수 있습니다. 반면 구간이 -20%에서 +35% 사이라면 이 실험은 아무것도 말해주지 않습니다. 앞의 경우에는 축소 결정을 검토할 수 있고, 뒤의 경우에는 결정을 내리는 것 자체가 잘못입니다. 참고로 구글 애즈 실험 결과 화면의 신뢰수준 기본값은 80%이며 화면에서 다른 값으로 바꿔 볼 수 있으므로, 보고 전에 어느 신뢰수준으로 본 결과인지 반드시 확인해야 합니다.

판단 불가 상태에서는 무엇을 결정하나

결론을 내릴 수 없다는 것도 하나의 결론입니다. 이때 결정해야 할 것은 캠페인 유지 여부가 아니라 다음 세 가지입니다. ① 재검증 방식(표본을 키울 것인가, 검출 목표를 키울 것인가, 설계를 바꿀 것인가) ② 재검증 시한 ③ 그때까지의 잠정 운영 방침입니다.

③을 정할 때 쓰는 실무 기준이 있습니다. 해당 채널이 전체 예산에서 차지하는 비중, 그리고 그 채널을 끊었을 때 되돌리는 비용입니다. 비중이 작고 되돌리기 쉬운 채널이라면 잠정 축소로 두고 관측하는 선택이 가능하고, 비중이 크거나 재개에 학습 비용이 큰 채널이라면 현행 유지로 두고 재검증을 앞당기는 편이 낫습니다. 어느 쪽이든 "판단 불가라서 일단 그대로"가 아니라 "판단 불가라서 다음 검증까지 현행 유지"라고 적는 것이 중요합니다.

결과를 다시 들여다보고 싶은 유혹은 어떻게 다루나

유의하지 않은 결과를 받아 든 뒤 기간을 조금 더 늘리거나 특정 세그먼트만 잘라 다시 계산해보고 싶어집니다. 이 행동에는 대가가 있습니다. 중간 결과를 들여다보다 유의해 보이는 순간 멈추면 실제 위양성률이 공표한 5%보다 훨씬 높아집니다. 여러 세그먼트를 동시에 검정하는 것도 같은 문제를 만듭니다. 귀무가설이 전부 참이어도 α=0.05로 100번 검정하면 약 5건의 위양성이 우연히 나옵니다.

그래서 사후 탐색을 하려면 그 결과를 결론이 아니라 다음 실험의 가설로 취급해야 합니다. "특정 세그먼트에서 효과가 있어 보인다"는 관찰은 다음 실험의 대상 정의로 쓰고, 이번 실험의 결론에 넣지 않습니다. 이 구분을 문서에 적어두면 조직 내에서 같은 실수가 반복되지 않습니다.