12CODE

MKT FAQ

MKT FAQ 분석·실험·성과개선

증분성 실험 설계을 광고주 보고서에 쓸 때 확정 사실과 추정치를 어떻게 구분해야 하나요?

이런 질문도 같은 답입니다: 증분성 실험 설계를 광고주 보고서에 쓸 때 확정 사실과 추정치를 어떻게 구분해야 하나요?

답변

광고주 보고서에서는 '실제로 측정된 것'과 '모델·매체가 추정한 것'을 문장 단위로 구분해서 쓰는 것이 신뢰를 지키는 핵심입니다. 예를 들어 자사 계정에서 직접 돌린 Conversion Lift 테스트 결과(홀드아웃 대비 실제 전환 차이)는 '측정된 증분'으로, 메타가 2026년 자체 발표한 '인크리멘털 어트리뷰션 적용 후 증분 전환 24% 증가'라는 수치는 메타 자체 집계일 뿐 우리 계정에 그대로 적용되는 값이 아니므로 '참고 수치'로 구분해 표기해야 합니다. 통계적으로는 p-value 0.05 미만(신뢰수준 95%)을 충족한 결과만 '확정 사실'로 쓰고, 표본이 부족하거나 유의성 기준을 못 채운 결과는 '추정치' 또는 '경향'으로 표현을 낮춰야 합니다. 표본 크기 계산 없이 나온 조기 결과를 확정 수치처럼 보고하면, 나중에 재현되지 않았을 때 신뢰가 깨집니다. 실무적으로는 보고서 문장에 '확인됨(자사 실측)', '참고치(매체 자체 발표)', '추정(표본 미달)' 세 가지 표기를 구분해 쓰는 방식을 권합니다 — 숫자 옆에 근거 종류를 명시하면 광고주가 어디까지 믿고 의사결정에 써도 되는지 스스로 판단할 수 있습니다.

← FAQ 목록으로