답변
구매여정이 긴 상품은 일반적인 A/B테스트 설계를 그대로 쓰면 결론이 나기까지 너무 오래 걸립니다. 몇 가지를 다르게 접근하셔야 합니다. 먼저 가설과 목표 지표부터 다시 잡으세요. 좋은 A/B 테스트 가설은 '무엇을 바꾸면 왜 어떤 지표가 얼마나 바뀔 것이다'라는 구체적 형태여야 하는데, 구매여정이 긴 상품은 최종 구매까지 시간이 오래 걸리므로 목표 지표를 처음부터 '구매전환율'로만 좁게 잡으면 검증까지 지나치게 오래 걸립니다. 대신 위시리스트 추가, 장바구니 담기, 상세정보 더보기 클릭, 문의하기 클릭처럼 구매로 이어지는 중간 단계 행동(마이크로 컨버전)을 1차 판정 지표로 삼아 더 빠르게 신호를 확인하고, 최종 구매전환은 장기 추적 지표로 별도 관리하는 이원화 접근이 실무에서 흔히 쓰입니다. 다만 마이크로 컨버전에서 이겼다고 반드시 최종 구매전환에서도 이긴다는 보장은 없어서, 장기적으로는 실제 구매전환 데이터로 재검증해야 한다는 점은 감안하세요. 표본 크기도 미리 계산해두셔야 합니다. 기준 전환율, 검출하고자 하는 최소 효과 크기, 유의수준(보통 95%), 검정력(보통 80%)을 입력해 필요한 표본을 사전에 계산하고, 이 값에 도달하기 전에 중간 결과만 보고 조기 종료하면 유의미하지 않은 결론을 채택할 위험이 커집니다. 구매여정이 긴 상품은 애초에 전환 볼륨 자체가 낮은 경우가 많아, 테스트 시작 전에 지금 트래픽·전환율로 필요한 표본이 언제쯤 쌓일지 미리 계산해두는 게 특히 중요합니다. 마지막으로 변수는 하나로 좁히세요. A안과 B안 사이에 변경 요소를 하나로 한정해야 어떤 요소가 결과 차이를 만들었는지 특정할 수 있습니다. 구매여정이 긴 상품의 상세페이지는 정보량이 많아 한 번에 여러 섹션을 고치고 싶어지지만, 변수를 하나로 좁혀야 결과를 명확히 해석할 수 있습니다.