두 측정 방법은 애초에 다른 질문에 답한다

인크리멘털리티(리프트) 테스트는 특정 지역이나 사용자 그룹의 매체 노출을 의도적으로 끄거나(홀드아웃) 늘려서, 그 매체가 없었을 때와 있었을 때의 매출 차이를 직접 비교하는 실험입니다. 통제된 실험이기 때문에 인과관계를 가장 명확하게 보여주는 방법이지만, 한 번에 한두 채널씩만 검증할 수 있고 실험을 설계·운영하는 데 시간과 비용이 듭니다. 반면 MMM은 1강에서 다룬 대로 전체 채널(디지털+오프라인)의 관계를 한 번에 통계적으로 추정하지만, 실험이 아니라 관측 데이터 기반 추정이라 리프트 테스트만큼의 확신을 주지는 못합니다. 두 방법은 경쟁 관계가 아니라 서로 다른 질문에 답하는 보완 관계로 봐야 합니다.

Meridian GeoX는 이 둘을 어떻게 연결하나

구글이 공개한 Meridian GeoX는 지역 단위 인크리멘털리티 실험 도구로, 특정 지역의 매체 집행을 중단하거나 확대해 실제 인과 효과를 측정한 뒤, 그 결과를 Meridian MMM의 베이지안 사전분포(calibration prior)로 되먹임해 모델을 보정하는 기능을 공식 지원합니다. 즉 리프트 테스트로 확인한 실제 인과 효과를 MMM이 "이 채널의 효과는 대략 이 범위"라는 사전 정보로 참고하게 만들어, 순수 상관관계 추정에만 의존할 때보다 결과의 신뢰도를 높이는 구조입니다. 이 실험 보정 기능은 Meridian 출시 초기부터 핵심 기능으로 강조돼 왔습니다.

두 지표가 서로 다른 결론을 낼 때

실무에서 가장 곤란한 상황은 리프트 테스트가 "이 채널은 효과가 크다"고 말하는데 MMM은 "이 채널의 기여도가 낮다"고 반대로 나오는 경우입니다. 이럴 때 무조건 한쪽 결과를 정답으로 받아들이기보다, 먼저 두 실험의 조건을 다시 대조해보는 절차가 필요합니다. 리프트 테스트 쪽에서는 실험 기간이 너무 짧아 애드스톡(이월 효과)까지 다 반영하지 못했는지, 실험 지역 표본이 전체를 대표할 만큼 충분했는지를 점검합니다. MMM 쪽에서는 6강에서 다룬 과적합·변수 누락 문제가 없는지, 그 채널의 포화 곡선 추정이 최근 지출 변화 구간을 충분히 반영하고 있는지를 점검합니다. 두 쪽 다 문제가 없는데도 결론이 계속 어긋난다면, 그 채널만큼은 결론을 보류하고 추가 실험으로 재검증하는 것이 안전합니다.

정합성 체크를 정기적으로 운영하는 법

한 번의 교차 검증으로 끝내지 않고, 채널별로 주기를 정해 리프트 테스트를 돌아가며 실행하고 그 결과와 MMM 추정치를 나란히 기록해두는 방식이 실무에서 자리 잡고 있습니다. 이 기록이 쌓이면 어느 채널에서 두 지표가 자주 어긋나는지 패턴이 보이기 시작하는데, 이런 채널은 데이터 품질이나 모델 가정에 구조적인 문제가 있을 가능성이 높아 우선적으로 점검 대상에 올려두는 것이 좋습니다. 반대로 꾸준히 일치하는 채널은 이후 리프트 테스트 빈도를 줄이고 MMM 추정치를 더 신뢰해도 되는 채널로 분류할 수 있습니다.

리프트 테스트를 아직 안 해본 조직이라면

아직 인크리멘털리티 테스트를 운영해본 적 없는 조직이라면, MMM 결과부터 확보한 뒤 그중 기여도가 예상과 크게 다르게 나온 채널이나 예산 비중이 큰 채널을 우선순위로 삼아 첫 리프트 테스트를 설계하는 접근이 현실적입니다. 처음부터 모든 채널을 리프트 테스트로 검증하려면 시간·비용 부담이 크기 때문에, MMM이 먼저 "의심 가는 채널"을 좁혀주고 리프트 테스트가 그 채널을 정밀 검증하는 순서로 두 방법을 엮는 것이 효율적입니다. 구글·메타 광고 관리자에는 각각 자체 리프트 테스트 기능이 마련돼 있어, 이를 활용해 개별 채널 단위로 실험을 시작해볼 수 있습니다.

교차 검증 결과를 팀에 공유할 때

두 지표를 비교한 결과를 보고할 때는 "MMM이 맞다" 또는 "리프트 테스트가 맞다"는 식의 단정적인 언어보다, 두 방법이 서로 다른 조건에서 측정한 결과라는 점을 먼저 설명하고 그 위에서 일치·불일치 여부를 전달하는 순서가 오해를 줄입니다. 특히 예산 재배분처럼 큰 의사결정 앞에서는, 두 지표가 일치하는 채널은 확신을 갖고 실행하고 불일치하는 채널은 추가 검증 전까지 배분 변경 폭을 보수적으로 가져가는 식으로 결과를 실무에 반영하는 것이 안전합니다.