대형 서비스는 몇 시간 만에 수만 명의 반응을 모을 수 있지만, 월 방문자 3,000명 수준인 글로우캔들 정도라면 그렇지 않습니다. 표본이 적으면 우연히 며칠 잘 팔린 것을 실험 성공으로 착각하기 쉽습니다.

정확한 통계 공식을 따지기보다, 실무에서 흔히 쓰는 현실적인 기준을 참고하는 편이 낫습니다.

기간: 최소 1~2주, 가능하면 요일 편차를 없애기 위해 7일 단위(주 단위)로 끊습니다. 주말과 평일 구매 패턴이 다른 상품이 많기 때문입니다.
표본: 결제 건수 기준으로 각 버전 최소 20~30건 이상 모이는 것을 목표로 합니다. 이보다 적으면 "우연히 그렇게 나왔을 가능성"을 배제하기 어렵습니다.
방문자 기준: CVR이 1.2%대인 글로우캔들이라면 버전당 최소 1,500명 이상의 방문자가 필요하다는 뜻이 됩니다.

이 기준을 못 채우는 상품도 많습니다. 그럴 때는 실험을 포기하는 대신 기간을 늘리거나, 여러 상품(라벤더·우디 등)에 같은 실험을 동시에 적용해 표본을 합치는 방법을 씁니다. 확신이 100%가 아니어도, 감으로 결정하는 것보다는 낫습니다.