사전·사후 비교가 틀리는 이유

비교 자체는 단순합니다. 문제는 같은 기간에 구조 말고도 많은 것이 바뀐다는 점입니다. 시즌, 경쟁사 집행, 랜딩페이지 수정, 상품 가격, 재고, 심지어 매체의 집계 기준까지 움직입니다. 실제로 메타는 2026년 1월 12일부로 인사이트 API에서 7일 조회·28일 조회 기여 기간 옵션을 영구 제거했고, 2026년 3월에는 참여 유도 기여 유형을 도입해 좋아요·댓글·공유를 클릭에서 분리했습니다. 이런 변경이 비교 구간에 걸치면 숫자 차이의 원인이 구조인지 집계인지 갈리지 않습니다.

그래서 사전·사후 비교는 "결과가 좋아졌다"의 근거가 아니라 "결과가 나빠지지 않았다"의 확인 정도로 다루는 편이 정직합니다. 인과를 주장하려면 홀드아웃이 필요합니다.

비교 구간을 어떻게 자르는가

기준선은 변경 전 4주로 잡습니다. 그보다 짧으면 요일·주차 변동에 묻히고, 그보다 길면 시즌 성격이 섞입니다. 사후 구간은 학습이 끝난 뒤부터 셉니다. 학습 기간은 입찰 전략 변경·예산 수정·전환 추적 설정 변경·캠페인 구조 재편성으로 리셋되며, 구글은 통상 7일, 길게는 14일 이상이 걸리고 이탈에는 30~50건의 전환이 필요합니다. 메타는 광고 세트당 7일 이내 50개 최적화 이벤트를 채우지 못하면 학습 제한 상태에서 보수적으로 노출합니다.

전환 지연도 반영합니다. 매체별 기본 기여 기간이 달라 네이버 검색광고 15일, 네이버 GFA 30일, 메타 7일이 기본값으로 흔히 쓰입니다. 기여 기간이 긴 매체는 사후 구간 종료 후에도 전환이 계속 붙으므로, 데이터를 뽑는 날짜를 기여 기간만큼 뒤로 미뤄야 합니다. 같은 이유로 앱 쪽에서는 구글 리포트와 제3자 측정 도구 사이의 전환수 불일치가 어느 정도 예상되는 현상이며, 두 시스템의 전환 창을 일치시키는 것이 편차를 줄이는 데 중요하다고 안내됩니다.

홀드아웃을 어떻게 끼워 넣는가

가장 쉬운 방법은 개편 대상을 전부 바꾸지 않는 것입니다. 비슷한 성격의 캠페인이 여러 개라면 일부만 개편하고 나머지를 그대로 둡니다. 그러면 같은 기간의 외부 변화가 양쪽에 똑같이 작용하므로, 두 집단의 차이를 구조 효과로 읽을 여지가 생깁니다.

지역 단위로 나눌 수 있다면 더 낫습니다. 실험군·대조군 지역은 인구통계가 아니라 과거 매출·주문 같은 행동이 닮은 곳끼리 매칭해야 하고, 실무 가이드는 최소 10~15개 매칭 지역과 사전 기간 상관계수 95% 이상을 권합니다. 대조군은 예산 축소가 아니라 실제 미변경 상태여야 합니다.

매체 도구를 쓸 수 있는 경우도 있습니다. 구글은 검색 캠페인 맞춤 실험으로 원본과 테스트 캠페인을 동시 운영해 비교하며, 분할은 쿠키 기반이 기본이자 권장값이고 50:50이 기본 권장 비율입니다. PMax는 업리프트·업그레이드·최적화 세 종류의 실험을 제공합니다. 메타는 A/B 테스트로 타겟을 서로 겹치지 않는 임의의 그룹으로 나눠 비교합니다.

무엇을 판정 지표로 두는가

매체 리포트 전환 합계는 판정 지표로 두지 않습니다. 여러 매체를 거친 고객은 각 매체 대시보드에 전환 1건씩 중복으로 잡히므로, 구조 개편으로 매체 구성이 바뀌면 합계도 함께 움직입니다. 대신 전체 매출을 전체 광고비로 나눈 MER과 실제 주문 수를 판정 축으로 둡니다.

보조 지표는 세 가지면 충분합니다. 학습 제한 상태인 광고 세트 수(구조가 학습 조건을 개선했는지), 오디언스 중복률(겹침이 줄었는지), 신규 고객 비중(고객자산이 늘었는지)입니다. 세 가지 모두 구조가 직접 통제하는 숫자여서 기여 모델 논쟁에 덜 휘둘립니다.

결과를 어떻게 기록하고 끝내는가

유의성 판단에는 데이터량이 필요합니다. 구글 광고는 유의성을 1-p값으로 계산한 신뢰도로 표시하고 50%를 기본으로 보지만, 이는 최소 기준이므로 다음 개편의 근거로 쓸 결론이라면 90% 이상을 목표로 두는 편이 안전합니다. 저트래픽 캠페인은 표본이 쌓이는 데 오래 걸리므로, 기간이 아니라 표본으로 종료 조건을 잡습니다.

마지막으로 결과를 문서에 남깁니다. 구글 변경 내역은 최근 2년치 변경만 보여주고 '왜 바꿨는가'와 '어떻게 판정했는가'는 기록하지 않습니다. 개편 전 스냅샷, 판정 방법, 결과, 다음에 다르게 할 것을 한 장으로 정리해 두면, 다음 분기 개편은 논쟁이 아니라 이어달리기가 됩니다.