표본 크기는 무엇을 근거로 정하나요

표본 크기(샘플 사이즈)는 감으로 정하는 숫자가 아니라, 네 가지 값을 입력해 실험 전에 계산하는 값입니다. 기준 전환율(지금 얼마나 전환되고 있는지), 검출하고자 하는 최소 효과 크기(MDE, 최소한 몇 %p 차이는 감지하고 싶은지), 유의수준(보통 95%), 검정력(보통 80%)을 넣으면 필요한 최소 방문자 수가 계산됩니다. 이 값에 도달하기 전에 중간 결과만 보고 "지금 보니 B안이 이기는 것 같다"며 실험을 조기 종료하면, 통계적으로 유의미하지 않은 결론을 채택할 위험이 커집니다. 검출하려는 효과 크기가 작을수록 필요한 표본 크기는 훨씬 커진다는 점도 함께 기억해야 합니다.

테스트 기간은 며칠이 적당한가요

결론부터 말하면, 매체·업종을 막론하고 통용되는 '최소 며칠이면 충분하다'는 단일 기준은 존재하지 않습니다. 트래픽이 많은 계정은 며칠 만에 필요한 표본이 쌓이지만, 트래픽이 적은 계정은 같은 표본을 채우는 데 몇 주가 걸릴 수 있습니다. 구글 애즈는 자체 실험 도구에 한해 공식 기준을 제공합니다. 실험 FAQ는 실험을 최소 46주 이상 진행할 것을 권장하며, 구매 주기가 긴 업종은 전환 주기를 12회 기다리는 것이 좋다고 안내합니다. 또한 초기 최적화 과정에서 생기는 편차를 걷어내기 위해, 실험 시작 후 처음 7일간의 데이터는 통계 계산에서 아예 제외합니다.

구글 애즈 실험은 신뢰수준을 어떻게 계산해서 보여주나요

구글 애즈 실험 결과 화면에는 신뢰 구간(신뢰수준) 드롭다운이 있고, 기본값은 80%로 설정돼 있습니다. 사용자가 필요에 따라 다른 신뢰수준으로 바꿔 결과를 다시 확인할 수 있습니다. 그리고 결과가 통계적으로 유의미하지 않게 나오는 이유로 ① 실험이 충분한 기간 진행되지 않음, ② 캠페인 트래픽 자체가 부족함, ③ 트래픽 분할 비율이 너무 작아 실험 쪽 트래픽이 부족함, ④ 적용한 변경사항이 실제로 유의미한 실적 차이를 만들지 않음, 이 네 가지를 화면에서 공식적으로 안내해줍니다. 결과가 애매하게 나왔다면 이 네 가지 중 어디에 해당하는지부터 점검하는 것이 순서입니다.

메타 A/B 테스트는 기간·예산 기준이 따로 있나요

메타 광고 관리자도 A/B 테스트(실험) 기능을 공식 제공하지만, 이번 조사에서는 구글 애즈처럼 '몇 주 이상, 신뢰수준 몇 %'라는 구체적인 공식 최소 기준을 확인하지 못했습니다. 인터넷에서 흔히 보이는 "최소 며칠, 최소 예산 얼마" 같은 숫자는 대부분 대행사나 컨설턴트가 경험적으로 제시하는 참고치이지, 메타가 공식적으로 정한 규정이 아닙니다. 메타 광고 관리자는 실험 화면에서 "아직 데이터가 충분하지 않습니다" 같은 안내를 자체적으로 띄워주므로, 정확한 판단 시점은 화면의 안내를 기준으로 삼는 것이 가장 안전합니다.

트래픽이 적은 계정은 어떻게 해야 하나요

저트래픽 캠페인이나 틈새 키워드는 충분한 데이터를 모으는 데 시간이 오래 걸리기 마련입니다. 실험 기간을 억지로 짧게 잡으면 통계적 신뢰도가 낮아지므로, 트래픽이 적은 계정이라면 테스트할 변수의 우선순위를 좁혀 한 번에 하나씩만 검증하거나, 여러 소그룹을 하나의 캠페인·광고그룹으로 통합해 모수를 합치는 방법을 먼저 검토하는 편이 현실적입니다.

표본 크기 계산은 어떻게 실무에서 편하게 하나요

표본 크기 공식을 직접 손으로 계산할 필요는 없습니다. 무료로 제공되는 표본 크기 계산기에 기준 전환율, 원하는 최소 효과 크기, 유의수준을 입력하면 필요한 최소 방문자 수와 예상 소요 기간이 바로 나옵니다. 실험을 설계하는 단계에서 이 계산기로 먼저 필요한 기간을 가늠해보고, 그 기간이 현실적으로 감당 가능한지부터 판단하는 순서가 안전합니다.

기간을 늘리는 것과 표본을 늘리는 것은 같은 뜻인가요

비슷해 보이지만 다릅니다. 표본 크기는 '몇 명의 데이터가 필요한가'를 뜻하고, 기간은 그 표본을 채우는 데 '며칠이 걸리는가'를 뜻합니다. 같은 표본 크기라도 트래픽이 많은 캠페인은 짧은 기간에, 트래픽이 적은 캠페인은 긴 기간에 걸쳐 채워집니다. 그래서 "일주일이면 충분하다"는 식으로 기간만 고정해두면, 트래픽이 적은 계정에서는 정작 필요한 표본에 도달하지 못한 채 실험을 끝내는 실수를 하게 됩니다. 반대로 표본 크기를 먼저 계산하고, 그 표본을 채우는 데 필요한 기간을 역산하는 순서가 안전합니다. 요일별로 방문자 성향이 다른 서비스라면, 최소한 한 번의 완전한 주간 주기(월~일)를 포함하도록 기간을 잡는 것도 실무에서 자주 쓰는 보완책입니다.

조기 종료 유혹은 왜 특히 위험한가요

실험을 시작한 지 이틀 만에 B안이 크게 앞서는 것처럼 보이면, 당장 B안으로 확정하고 싶은 유혹이 듭니다. 하지만 표본이 적은 초반에는 우연한 변동 폭이 크게 나타나기 쉽고, 시간이 지나면서 두 안의 격차가 좁아지거나 순위가 뒤바뀌는 경우도 드물지 않습니다. 목표한 표본 크기나 권장 기간에 도달하기 전까지는 중간 결과를 참고만 하고, 최종 판단은 미뤄두는 습관이 필요합니다.