시차는 무엇을 추정하는 값인가

브랜드 인지가 오른 뒤 매출이 따라오는 데 걸리는 시간입니다. 이 값은 카테고리와 가격대에 따라 크게 다릅니다. 저가 소비재는 짧고, 고관여 내구재는 몇 달에 이릅니다. 문제는 이 값을 모르면 실험 설계 자체가 어긋난다는 데 있습니다. 4주 실험을 돌리고 매출 변화가 없다고 결론 내렸는데 실제 시차가 8주라면, 그 실험은 아무것도 재지 못한 것입니다.

시차는 이월 효과와 짝을 이룹니다. 애드스톡은 광고 효과가 노출 즉시 끝나지 않고 시간이 지나며 줄어드는 형태로 매출에 이월된다는 개념인데, 시차가 "언제부터 나타나는가"라면 감쇠는 "얼마나 오래 남는가"입니다. 두 값을 함께 추정해야 실험 기간 설계에 쓸 수 있습니다.

관측 데이터로는 어디까지 알 수 있나

가장 먼저 할 일은 보유 데이터로 대략의 범위를 잡는 것입니다. 절차는 이렇습니다. ① 인지 관련 지표(조사 결과, 브랜드 검색량, 직접 유입)와 매출을 주 단위 시계열로 정렬합니다. ② 시차를 0주부터 12주까지 바꿔가며 두 시계열의 관계를 각각 계산합니다. ③ 어느 시차에서 관계가 가장 뚜렷한지 표로 만듭니다.

이 방식의 한계는 분명합니다. 두 지표가 함께 움직인 것이 광고 때문인지, 계절 수요 때문인지 구분되지 않습니다. 그래서 이 단계의 결과는 결론이 아니라 실험 설계의 입력으로만 씁니다. 예를 들어 관계가 4~6주 시차에서 가장 뚜렷하게 나왔다면, 다음 실험의 관측 기간을 최소 8주 이상으로 잡아야 한다는 근거가 됩니다.

실험으로 추정하려면 어떤 설계가 필요한가

펄스 설계가 유효합니다. 특정 지역이나 특정 집단에 노출을 짧은 기간에 집중시키고, 그 이후 주차별로 지표 변화를 추적하는 방식입니다. 절차는 이렇습니다. ① 실험군에 2주간 브랜드 캠페인을 집중 집행합니다. ② 3주차부터 노출을 중단합니다. ③ 이후 8~12주간 실험군과 대조군의 주차별 지표 차이를 계속 관측합니다. ④ 차이가 가장 커지는 주차를 시차로, 차이가 줄어드는 속도를 감쇠로 읽습니다.

이 설계의 핵심은 노출 중단 이후에도 관측을 계속한다는 점입니다. 실험 기간과 관측 기간을 같게 잡으면 시차 추정 자체가 불가능합니다. 실험 일정표에는 집행 종료일과 관측 종료일을 반드시 다른 날짜로 적어야 합니다.

조사 주기는 왜 결정적인가

인지 지표를 설문으로 잰다면, 조사 주기가 추정 해상도의 상한이 됩니다. 분기에 한 번 조사하면 주 단위 시차는 원리적으로 관측되지 않습니다. 매체 설문을 쓰는 경우에도 제약이 있습니다. 구글 브랜드 광고 효과 측정 설문은 시청자 1명당 하루 최대 1회, 주 최대 3회까지만 노출되고 같은 브랜드에 대해서는 14일 이내 1회만 응답할 수 있어, 응답 누적 속도에 상한이 있습니다.

그래서 시차 추정을 목적으로 한다면 설문 대신 행동 지표를 주 지표로 쓰는 편이 실용적입니다. 브랜드 검색량, 직접 유입, 브랜드명 포함 키워드 클릭수는 매일 관측되고 지역별로 나눌 수 있습니다. 설문은 이 행동 지표의 해석을 뒷받침하는 보조 자료로 배치하십시오.

시차 추정에서 흔히 어긋나는 지점은 무엇인가

세 가지입니다. 첫째, 노출 시점의 불명확성입니다. 브랜드 캠페인을 여러 주에 걸쳐 고르게 집행하면 언제 노출이 발생했는지가 흐려져 시차 계산의 기준점이 사라집니다. 펄스 설계로 노출을 짧은 구간에 몰아넣는 이유가 여기에 있습니다.

둘째, 다른 캠페인과의 중첩입니다. 관측 구간에 퍼포먼스 캠페인이 계속 돌고 있다면, 나중에 나타난 매출 증가가 브랜드 캠페인의 지연 효과인지 그 사이 집행된 전환 캠페인의 효과인지 구분되지 않습니다. 관측 구간의 다른 채널 집행 수준을 실험군·대조군에서 동일하게 유지하는 것이 최소 조건입니다.

셋째, 관측 종료 시점의 조기 설정입니다. 시차가 6주인데 관측을 6주에서 끝내면 효과가 막 나타나기 시작한 지점에서 데이터가 끊깁니다. 관측 기간은 예상 시차의 최소 1.5배 이상으로 잡아두는 편이 안전합니다.

추정한 시차를 어디에 쓰나

세 곳에 씁니다. 첫째, 다음 실험의 관측 기간입니다. 시차보다 짧은 관측 기간으로 설계된 실험은 결과가 나와도 해석할 수 없습니다. 둘째, 리포팅 마감 시점입니다. 전환 지연 때문에 최근 데이터는 계속 채워지므로 리포팅 버퍼 정책을 정해 일정 일수 이내 데이터로는 최종 결정을 하지 않도록 하는 것이 실무 권고이며, 버퍼 길이는 평균 판매주기에 맞춰 잡습니다. 시차 추정치가 이 버퍼 설정의 근거가 됩니다.

셋째, 캠페인 일정입니다. 시차가 6주라면 성수기 6주 전에 브랜드 캠페인이 시작돼야 합니다. 이 계산이 없으면 브랜드 캠페인이 성수기와 같은 달에 시작돼 효과가 성수기 이후에 도착하는 일이 반복됩니다.