답변
브랜드 세이프티 관리의 실험군·대조군을 설계할 때 통계적 오류를 피하려면 아래 원칙을 먼저 지켜야 합니다. 브랜드 세이프티는 브랜드 메시지가 부적절하거나 신뢰할 수 없는 환경(선정적·폭력적·가짜뉴스 콘텐츠 등)에 노출되지 않도록 관리하는 개념으로, 국내 디스플레이 네트워크 다수가 TAG Brand Safety CERTIFIED 같은 업계 인증을 획득해 게재위치 제외(블랙리스트) 루틴을 운영한다. 인플루언서·SNS 캠페인에서는 팔로워·참여 지표 자체가 가짜(봇·구매)인 경우도 브랜드 세이프티 리스크로 함께 다뤄야 한다 — 조작 사실이 외부에 알려지면 브랜드가 알고도 방치했다는 의혹으로 번질 수 있다. 브랜드 세이프티 관리의 실험군·대조군을 나눌 때는 무작위 배정(랜덤화)이 원칙이다 — 지역·시간대·이미 성과가 좋은 세그먼트를 임의로 실험군에 몰아주면 결과가 왜곡된다(선택 편향). 통계적 오류를 피하려면 사전에 최소 표본크기(필요 전환수)와 목표 검정력을 정해두고, 그 기준에 도달하기 전에 중간 결과만 보고 조기 종료하지 않아야 한다 — 이른 종료는 우연한 변동을 실제 효과로 오판하는 흔한 원인(peeking problem)이다. 실험군·대조군 사이에 같은 사람이 양쪽에 동시에 노출되는 오염(contamination)이 생기면 결과를 신뢰할 수 없다 — 오디언스를 완전히 분리하거나(지역 분할, 리스트 분할), 최소한 겹치는 비율을 사전에 확인해야 한다. 실험을 설계할 때는 시작 전에 최소 표본크기와 종료 기준을 문서로 먼저 확정해두시면, 중간에 결과가 흔들려도 원칙대로 끝까지 갈 수 있습니다.