← 라이브러리 01 신제품 런칭 캠페인에서 브랜드 인지도 상승과 CPA의 상관관계를 통계적으로 증명하는 모델링 방법 인지도가 오르니 CPA가 내려갔다는 말을 숫자로 옮기려면, 상관계수를 내기 전에 두 지표를 같은 축에 올리는 작업부터 해야 합니다. 6건 출처 02 연간 마케팅 예산 효과를 단순 상관관계가 아닌 증분 효과로 검증하는 설계법 연간 예산 전체를 한 번에 검증하는 실험은 존재하지 않습니다. 대신 1년치 실험 캘린더를 짜는 일이 그 자리를 대신합니다. 6건 출처 03 브랜드 리프트 측정을 대행사와 공동 운영할 때 산출물·권한·책임 범위 나누기 측정 결과를 놓고 다투는 대부분의 상황은, 스터디를 누구 계정에서 어떤 설정으로 돌렸는지 아무도 문서로 남기지 않은 데서 시작합니다. 5건 출처 04 인크리멘탈리티 테스트에서 통제군(Holdout Group) 구성 최소 표본 기준 표본 계산식보다 먼저 답해야 하는 질문은 "전체 모수의 몇 퍼센트를 광고에서 빼도 되는가"입니다. 5건 출처 05 지역 기반(Geo) 실험으로 증분 매출을 측정하는 설계 방법 지역 실험의 결과물은 "유의했다"가 아니라 "이 기간에 광고가 만든 매출이 얼마였다"라는 금액이어야 합니다. 6건 출처 06 A/B 테스트가 불가능한 채널(TV·옥외광고)에서 증분 효과를 추정하는 대안 사람 단위로 나눌 수 없는 매체는, 사람 대신 지역과 시간을 나눠서 잽니다. 6건 출처 07 MMM(마케팅믹스모델)과 증분효과 실험 결과가 다를 때 어느 쪽을 신뢰해야 하나 두 결과가 다르다는 사실은 사고가 아니라 정보입니다. 어긋난 폭과 방향이 어디를 고쳐야 하는지 알려줍니다. 6건 출처 08 증분효과 실험 결과를 경영진에게 보고할 때 흔히 나오는 반박과 대응법 반박의 절반은 결과가 아니라 설계에 관한 것이라, 보고 자리에서가 아니라 실험 시작 전에 막아야 합니다. 5건 출처 09 브랜드 리프트 서베이 응답률이 낮을 때 신뢰구간을 확보하는 방법 응답이 적을 때 늘려야 하는 것은 설문 문항 수가 아니라, 응답을 받을 기회의 양입니다. 6건 출처 10 광고 노출군과 비노출군의 자연 증가분(Baseline)을 분리하는 계산 절차 기준선은 과거 평균이 아닙니다. 같은 기간 비노출군에서 실제로 일어난 일이 기준선입니다. 5건 출처 11 증분 ROAS와 표면 ROAS(Last Click)의 차이를 광고주에게 설명하는 법 두 숫자 중 하나가 틀린 것이 아니라, 서로 다른 질문에 답하고 있다는 사실부터 합의해야 대화가 진행됩니다. 4건 출처 12 신규 채널 도입 전 파일럿 테스트로 증분 효과를 사전 검증하는 절차 파일럿의 목적은 성과를 내는 것이 아니라, 본 집행을 결정할 수 있는 근거를 최소 비용으로 만드는 것입니다. 5건 출처 13 계절성·프로모션이 겹치는 시기에 증분효과 실험을 설계하는 방법 성수기를 피해서만 실험하면, 정작 예산의 대부분이 집행되는 구간은 영원히 검증되지 않습니다. 5건 출처 14 증분효과 실험 결과가 통계적으로 유의하지 않을 때 캠페인 지속 여부 판단 기준 유의하지 않다는 말은 효과가 없다는 뜻이 아니라, 이번 설계로는 확인되지 않았다는 뜻입니다. 5건 출처 15 홀드아웃 지역을 선정할 때 상권·인구 특성을 매칭시키는 방법 인구와 상권 자료는 지역을 고르는 1차 기준이 아니라, 고른 결과를 설명하고 층을 나누는 데 쓰는 자료입니다. 4건 출처 16 마케팅 성과 검증을 위한 사전 실험 설계서(Pre-registration) 작성법 설계서의 목적은 형식을 갖추는 것이 아니라, 결과를 본 뒤 기준을 바꾸는 일을 물리적으로 막는 것입니다. 5건 출처 17 브랜드 캠페인의 장기 효과(Carry-over)를 증분 모델에 반영하는 방법 광고를 끈 다음 주에 매출이 그대로라면, 그것은 효과가 없다는 증거가 아니라 아직 효과가 남아 있다는 증거일 수 있습니다. 5건 출처 18 자사몰 전환과 오프라인 매장 방문의 증분 기여도를 함께 측정하는 방법 두 지표를 하나의 실험에서 재려면, 측정 단위를 사람이 아니라 지역으로 맞추는 편이 훨씬 수월합니다. 4건 출처 19 증분효과 실험 예산을 별도로 확보해야 하는 이유와 규모 산정 기준 실험 예산을 성과 예산 안에 두면, 실험은 성과가 급한 달에 가장 먼저 취소됩니다. 5건 출처 20 광고비 절감 테스트(Spend Cut Test)로 증분 매출을 역산하는 방법 예산을 줄여보는 실험은 가장 싸게 할 수 있는 증분 검증이지만, 줄이는 방식이 잘못되면 아무것도 알아내지 못합니다. 5건 출처 21 신제품 vs 기존 제품 캠페인의 증분효과를 다르게 설계해야 하는 이유 기존 제품 실험은 기준선을 빼는 문제지만, 신제품 실험은 기준선을 만드는 문제입니다. 5건 출처 22 증분효과 실험 결과를 다음 분기 예산 배분에 반영하는 의사결정 절차 배분을 바꾸는 결정에서 어려운 부분은 어느 채널이 좋은지가 아니라, 한 번에 얼마나 옮길지입니다. 5건 출처 23 브랜드 인지도 상승이 매출로 전환되기까지의 시차(Lag)를 실험으로 추정하는 방법 시차를 모른 채 실험 기간을 정하면, 효과가 도착하기 전에 실험이 끝납니다. 5건 출처 24 여러 채널이 동시에 집행될 때 채널별 증분 기여도를 분리하는 실험 설계 채널을 하나씩 꺼보는 순차 설계와, 조합을 한 번에 비교하는 요인 설계 중 무엇을 고를지는 표본 규모가 결정합니다. 5건 출처 25 증분효과 실험 결과를 대행사 성과 평가(KPI)에 연동할 때의 함정 증분 지표를 KPI로 걸면 대행사는 증분을 올리는 대신, 증분이 높게 나오는 실험을 고르게 됩니다. 5건 출처 26 리프트 테스트 플랫폼(메타 Conversion Lift 등)의 결과를 자체 검증하는 방법 매체가 준 리프트 결과를 검증한다는 것은 숫자를 다시 계산하는 일이 아니라, 그 숫자가 만들어진 조건을 확인하는 일입니다. 5건 출처 27 증분효과가 낮게 나온 채널을 축소할 때 브랜드 지표 훼손 여부 함께 판단하는 법 전환 증분이 낮다는 결과 하나로 채널을 끊으면, 몇 분기 뒤에 원인을 알 수 없는 전환율 하락을 만나게 됩니다. 5건 출처 28 마케팅 성과 검증 체계를 사내 표준 프로세스로 문서화하는 방법 문서화의 목적은 매뉴얼을 갖는 것이 아니라, 실험을 개인의 의지가 아니라 조직의 절차로 만드는 것입니다. 5건 출처