답변
랜딩페이지 실험 로드맵을 광고주 보고서에 쓸 때 확정 사실과 추정치를 섞어서 적으면, 나중에 결과가 기대와 다를 때 신뢰가 무너집니다. 구분하는 기준은 명확합니다. 광고주 보고서에서는 플랫폼이 직접 집계한 수치(노출·클릭·비용·플랫폼 리포팅 전환수)만 확정사실로 쓰고, 모델링을 거친 값(라스트클릭 귀속 매출, 순증분 추정치, 크로스디바이스 합산치)은 별도로 '추정치'라고 명시해야 한다. 실제로 리타게팅 캠페인의 라스트클릭 ROAS만 보고 예산을 몰았다가 홀드아웃(비노출군) 없이는 그 매출이 광고가 만든 순증분인지 원래 발생할 매출이었는지 구분이 안 돼 전체 매출이 급감한 사례가 보고된 바 있다 — 확정사실처럼 보이는 숫자도 귀속 모델의 가정에 따라 달라질 수 있다는 걸 리포트에 분리해서 적어야 한다. 실험에서 나온 전환율 차이와 통계적 유의성 도달 여부는 확정사실이지만, 그 차이가 왜 발생했는지(카피의 어떤 문구가 효과적이었는지, 어떤 심리적 요인이 작용했는지)에 대한 해석은 추정이다. 보고서에는 승패 수치와 승리 원인 해석을 분리해서 적어야 광고주가 다음 실험 방향을 오해하지 않는다. 이렇게 구분해서 보고하면, 결과가 예상과 다르게 나와도 광고주가 "속았다"고 느끼지 않고 다음 액션에 합의할 수 있습니다.