기준선의 유무가 왜 설계를 가르나

증분 계산의 핵심은 광고가 없었어도 발생했을 몫을 빼는 일입니다. 기존 제품이라면 그 몫을 추정할 재료가 있습니다. 과거 같은 시기 데이터, 광고를 집행하지 않던 구간, 안정된 오가닉 매출이 있기 때문입니다.

신제품에는 그 재료가 없습니다. 출시 직후 매출은 0에서 시작해 올라가는데, 그 상승분 중 어디까지가 광고 효과이고 어디까지가 출시 자체의 효과인지 과거 데이터로는 알 수 없습니다. 그래서 신제품 실험은 사전·사후 비교를 포기하고, 같은 기간 비노출군과의 비교로만 설계해야 합니다. 이 원칙 하나만 지켜도 신제품 성과 보고의 상당수 오류가 사라집니다.

신제품 실험은 어떤 형태를 잡아야 하나

두 가지 형태가 현실적입니다. 첫째는 지역 분할입니다. 출시 초기에 일부 지역에만 광고를 집행하고 나머지 지역과 비교합니다. 유통이 전국에 동시에 깔리는 제품이라면 이 설계가 가능하며, 지역별 매출 시계열이 짧더라도 출시 이후 구간만으로 비교할 수 있습니다.

둘째는 매체 홀드아웃입니다. 리프트 테스트는 대상 오디언스를 무작위로 노출 그룹과 비노출 홀드아웃 그룹으로 나눠 같은 기간 두 그룹의 전환 성과 차이를 비교합니다. 신제품은 초기 전환량이 적어 요건을 못 채우는 경우가 많으므로, 구매 대신 상세페이지 조회·장바구니 담기 같은 상위 이벤트를 판정 지표로 쓰는 조정이 필요할 수 있습니다. 그 경우 해당 이벤트와 매출의 관계를 별도로 확인해 두어야 합니다.

측정 지표는 어떻게 달라지나

기존 제품 실험의 주 지표는 대개 매출과 전환입니다. 신제품은 여기에 선행 지표를 더해야 합니다. 브랜드 인지도는 통상 세 항목으로 측정합니다. 제품군을 떠올릴 때 가장 먼저 언급되는 최초상기, 힌트 없이 스스로 떠올리는 비보조인지, 브랜드명을 제시했을 때 안다고 답하는 보조인지입니다. 신제품 국면에서는 보조인지와 광고 회상도가 먼저 움직이고, 매출은 나중에 따라옵니다.

그래서 신제품 실험의 판정 기준을 매출 하나로만 잡으면 실험 기간 내에 아무 결론도 나오지 않을 가능성이 큽니다. 주 지표는 하나로 못 박되, 그 지표를 매출로 할지 선행 지표로 할지를 실험 목적에 맞춰 정해야 합니다. 출시 캠페인의 목적이 인지 확보라면 주 지표는 인지 관련 지표여야 하고, 매출은 보조 지표로 관측합니다.

신제품 실험에서 특히 조심할 오염은 무엇인가

세 가지입니다. 첫째, 출시 이벤트와의 중첩입니다. 신제품 출시에는 대개 PR, 입점 행사, 인플루언서 콘텐츠가 함께 붙습니다. 이것들이 실험군·대조군에 다르게 작용하면 광고 효과와 분리되지 않습니다. 실험군·대조군 양쪽에 동일하게 적용되도록 조정하거나, 최소한 로그로 남겨 분석에서 처리해야 합니다.

둘째, 유통 커버리지 차이입니다. 지역 분할 실험에서 실험군 지역에만 입점이 완료된 상태라면 그 차이가 결과 전부를 설명할 수 있습니다. 실험 전에 지역별 입점률을 확인해 맞춰야 합니다.

셋째, 초기 재고 소진입니다. 품절이 나면 광고가 아무리 잘 돌아도 전환이 발생하지 않습니다. 실험 기간 중 재고 상태를 지역별로 기록해 두십시오.

기존 제품 실험은 무엇이 더 수월한가

기존 제품에는 활용할 수 있는 자산이 세 가지 있습니다. 첫째, 안정된 기준 전환율입니다. 표본 크기 계산에 필요한 네 입력 중 하나가 이미 확보돼 있어 설계가 빨라집니다. 둘째, 과거 실험 이력입니다. 같은 제품에서 이전에 돌린 실험이 있다면 이번 결과를 그와 비교해 변화 여부를 볼 수 있습니다. 셋째, 계절 패턴입니다. 지난해 같은 시기 데이터가 있으면 실험군·대조군의 사전 동조 여부를 계절 구간까지 포함해 확인할 수 있습니다.

그래서 기존 제품 실험에서는 설계보다 해석에 무게가 실립니다. 이번 값이 지난번과 달라졌다면 무엇이 달라졌는지, 예산 구간이 바뀐 것인지 시장이 바뀐 것인지를 따지는 작업이 본론이 됩니다. 반대로 신제품 실험은 해석보다 설계에 무게가 실립니다. 같은 과목의 실험이라도 준비 시간을 어디에 써야 하는지가 다르다는 뜻입니다.

결과의 유효기간은 어떻게 다른가

기존 제품 실험 결과는 사업 구조가 크게 변하지 않는 한 몇 개월 단위로 참조할 수 있습니다. 신제품 실험 결과는 그렇지 않습니다. 출시 국면에는 신규 인지 확보가 주된 과제라 광고의 한계 효율이 높게 나오기 쉽지만, 인지가 어느 정도 쌓인 뒤에는 같은 예산의 효율이 달라집니다.

그래서 신제품 실험은 한 번으로 끝내지 말고 출시 국면과 안정 국면에서 각각 한 번씩 돌리는 계획을 세우는 편이 낫습니다. 두 값을 비교하면 이 제품의 광고 반응이 어떻게 변해가는지 곡선으로 볼 수 있고, 다음 신제품 출시 계획의 근거가 됩니다.