답변
판단 순서는 먼저 필요한 표본부터 계산하는 것입니다. 지금 전환율(기준값)과 개편으로 기대하는 최소 개선폭을 정하고, 여기에 필요한 유의수준·검정력을 넣으면 필요한 최소 방문자 수와 대략적인 기간이 나옵니다. 이 값에 도달하기 전에 중간 결과만 보고 결론을 내리면 우연한 등락을 개선 효과로 오판할 수 있습니다. 트래픽이 많지 않은 상품이라면 이 표본을 채우는 데 걸리는 기간이 비현실적으로 길게 나올 수 있는데, 이 경우 상품 하나만 볼 게 아니라 비슷한 유형의 상품 여러 개를 묶어 같은 개편을 적용하고 합산해서 보는 방식도 고려해볼 만합니다. 기간을 정할 때는 최소 1~2주는 확보하되, 그 안에 주말이 반드시 포함되도록 맞춰야 합니다. 요일별로 트래픽 성격이 달라서, 평일만 보고 판단하면 왜곡될 수 있습니다. 프로모션과 겹친 개편이라면 프로모션 종료 후 반동 구간까지 한 주기 더 지켜보고 최종 판단하시길 권합니다.