자연 증가분은 무엇을 가리키나

증분 분석은 광고를 노출한 집단과 노출하지 않은 통제 집단의 전환 성과를 비교해, 광고가 없었어도 자연적으로 발생했을 매출을 제외한 순수 추가 매출만 분리해 측정하는 방법론입니다. 여기서 제외되는 몫이 자연 증가분, 곧 기준선입니다. 라스트클릭 같은 기여 모델이 성과를 과대평가하는 이유가 바로 이 몫까지 광고 성과로 세기 때문입니다.

실무에서 기준선을 잘못 잡는 두 가지 방식이 있습니다. 하나는 전년 동기를 그대로 쓰는 것이고, 다른 하나는 캠페인 직전 4주 평균을 쓰는 것입니다. 둘 다 그 기간과 실험 기간 사이에 계절성·추세·사업 성장이 끼어 있다는 사실을 무시합니다. 전년 대비로 계산한 증분은 사실상 사업 성장률을 광고 효과로 보고하는 셈이 되기 쉽습니다.

계산 절차는 어떤 순서인가

절차는 다섯 단계입니다. ① 사전 기간을 정하고 노출군·비노출군의 성과 시계열을 같은 단위(주차 권장)로 정렬합니다. ② 사전 기간에 두 그룹이 같은 방향으로 움직였는지 확인합니다. 이때 보는 것은 수준이 아니라 추세입니다. ③ 두 그룹의 규모 차이를 사전 기간 평균 비율로 환산해 보정 계수를 구합니다. ④ 실험 기간 비노출군 성과에 보정 계수를 곱해 "노출군에서 광고가 없었다면 나왔을 값"을 만듭니다. ⑤ 실제 노출군 성과에서 ④를 빼 증분을 구하고, 신뢰구간을 붙입니다.

②를 건너뛰면 나머지가 전부 무너집니다. 사전 기간에 두 그룹이 다르게 움직였다면, 실험 기간의 차이가 광고 때문인지 원래부터 다르게 움직이는 그룹이기 때문인지 구분할 수 없습니다. 그림으로 겹쳐 그려 눈으로 확인한 뒤 숫자를 내는 순서가 안전합니다.

규모가 다른 두 군을 어떻게 맞추나

노출군과 비노출군의 크기가 정확히 같은 경우는 드뭅니다. 홀드아웃을 10%로 잡았다면 두 군의 규모는 9대 1입니다. 이때 절대값을 그대로 빼면 안 되고, 1인당 또는 1지역당 값으로 환산하거나 사전 기간 비율로 보정해야 합니다.

보정 계수를 구할 때 주의할 점은 계수 산정 기간에 캠페인이 이미 돌고 있었는지 여부입니다. 계수를 뽑는 구간에 실험 대상 광고가 이미 집행 중이었다면 그 계수 자체에 광고 효과가 섞여 들어갑니다. 계수는 반드시 실험 시작 전, 그리고 가능하면 실험 대상 채널의 집행 수준이 안정적이었던 구간에서 뽑아야 합니다.

오가닉과 직접 유입은 어떻게 취급하나

증분 계산에서 자주 놓치는 지점이 채널 간 이동입니다. 광고를 켰을 때 광고 전환이 늘고 오가닉 전환이 그만큼 줄었다면, 총 매출은 그대로인데 기여만 옮겨간 것입니다. 그래서 기준선 분리 계산은 광고 채널만 보지 말고 총 전환과 채널별 전환을 함께 놓고 해야 합니다.

점검 방식은 단순합니다. 실험군과 대조군 각각에서 ① 총 전환 ② 유료 채널 전환 ③ 오가닉·직접 전환을 나란히 계산합니다. 총 전환에는 차이가 없는데 유료 채널만 늘었다면 그것은 증분이 아니라 대체입니다. 다채널 어트리뷰션에서 오가닉·직접 유입 기여를 과대평가하지 않도록 검증하는 작업과 같은 맥락이며, 이 확인이 빠진 증분 보고는 반박당하기 쉽습니다.

결과에 반드시 붙여야 하는 단서는 무엇인가

세 가지입니다. 첫째, 관측 종료 시점입니다. 전환 지연 때문에 최근 며칠 데이터는 계속 채워지므로, 리포팅 버퍼를 정하고 그 안쪽 데이터로는 최종 판단을 하지 않는 정책이 필요합니다. 둘째, 이월 효과입니다. 광고 효과는 노출 즉시 끝나지 않고 시간이 지나며 줄어드는 형태로 이월되므로, 광고를 끈 직후 구간에는 앞선 집행의 잔여 효과가 남아 증분이 과소 추정됩니다. 셋째, 적용 범위입니다. 이 값은 실험한 예산 구간·기간·지역에서의 값입니다.

이 세 단서를 결과 표 아래에 고정 문구로 넣어두면, 매번 같은 질문에 다시 답하지 않아도 됩니다. 실험 대장을 운영한다면 이 문구를 양식에 포함시키는 편이 좋습니다.