답변
CTV·OTT 캠페인 설계의 실험군·대조군을 설계할 때 흔히 생기는 통계적 오류부터 짚어드리겠습니다. CTV·OTT 광고는 시청 중 즉시 클릭이나 구매로 이어지는 채널이 아니라, 인지 후 다른 채널(검색, 자사몰)에서 행동으로 이어지는 지연된 효과를 낸다. 그래서 성과가 흔들릴 때 매체·소재·측정 중 어느 축을 먼저 볼지 판단하려면, 광고 송출 시간대와 네이버·구글의 브랜드명 검색량 변화를 겹쳐서 보는 크로스미디어 분석이 유효한 진단 축이 된다. 다만 이 상관관계 분석은 완벽한 인과관계 증명이 아니라 정황 증거에 가까우므로, 브랜드 리프트·자사몰 유입 같은 다른 지표와 함께 종합적으로 판단해야 한다. 여기에 더해, CTV(Connected TV)는 인터넷에 연결된 텔레비전을 통해 스트리밍 서비스에서 광고를 프로그래매틱 방식으로 집행하는 형태로, 국내 스마트 TV 보급률은 이미 90%에 육박해 인프라 조건은 대부분 갖춰져 있다. 국내 CTV 광고 시장은 2024년 전년 대비 76.8% 성장, 2025년 17.9% 성장을 기록해 감소세인 전통 방송광고 시장과 대비된다. CTV는 전통 TV 광고와 달리 디지털 기반 오디언스 타겟팅과 실시간 성과 측정(CPM, CPC, CPA)이 가능하다는 점이 예산 편성 기준에서 전통 TV와 갈리는 지점이다. 마지막으로 실무적으로 꼭 챙기실 부분은, 실험군·대조군 설계에서 흔히 발생하는 통계적 오류는 세 가지다. ①표본 부족: 매체 자체 A/B 테스트 도구(예: 구글 광고 실험)도 학습 기간을 벗어나야 신뢰할 수 있는데, 통상 30일 30건 전환이 최소 기준으로 통용되고 목표 ROAS 같은 정교한 최적화는 그보다 많은 50건 이상을 권장 수준으로 본다 — 이 최소치를 채우지 못한 상태의 결과는 우연에 의한 차이일 수 있다. ②분할 방식 오염: 트래픽을 나눌 때 쿠키 기반(유저를 한 그룹에 고정)과 검색·세션 기반(발생할 때마다 재배정)이 있는데, 세션 기반은 같은 유저가 양쪽 그룹에 반복 노출돼 대조군이 오염될 수 있어 쿠키 기반이 기본 권장값이다. ③중도 개입: 테스트 도중 예산·타겟을 크게 바꾸면(통상 한 번에 20%를 넘는 예산 변경은 알고리즘 재학습을 유발) 두 그룹의 조건이 더는 동일하지 않게 되므로, 테스트 기간에는 실험 변수 외에는 손대지 않아야 한다.