판정 기준이 되는 숫자부터 정확히 안다

CAPI 고도화의 효과를 판단하려면 먼저 메타 알고리즘이 무엇을 기준으로 '학습이 끝났다'고 판단하는지 알아야 합니다. 메타 머신러닝이 안정적인 최적화 데이터를 확보했다고 판단하는 최소 통계 기준은 주당(7일 이내) 50개의 최적화 이벤트입니다. 이 이벤트 수는 광고 세트 단위로 집계되며, 브라우저 픽셀 이벤트·CAPI 서버사이드 이벤트·모델링(추정) 전환을 모두 포함하되, 광고 세트가 최적화 대상으로 선택한 이벤트만 집계됩니다. 구매로 최적화 중이라면 장바구니담기·결제시작 이벤트는 이 숫자에 포함되지 않습니다.

'학습 제한(Learning Limited)' 상태는 현재 캠페인 구조로는 7일 이내 50개의 최적화 이벤트 확보가 수학적으로 불가능하다고 알고리즘이 판단했다는 뜻입니다. 이 상태에 빠지면 알고리즘은 공격적인 최적화를 멈추고 보수적인 노출 패턴에 머무릅니다. CAPI로 브라우저에서 손실됐던 전환을 복구하면, 같은 실제 판매량이라도 메타에 집계되는 이벤트 수가 늘어나므로 이 50건 기준에 더 빨리 도달할 수 있습니다 — 이것이 CAPI 고도화가 학습 제한 탈출 속도와 직접 연결되는 지점입니다.

대조 실험을 어떻게 설계하는가

CAPI 고도화 도입 전후를 비교할 때는 최소 두 가지 지표를 나란히 놓고 봐야 합니다. 첫째는 광고 세트 상태 탭에 표시되는 주간 최적화 이벤트 수(그리고 학습 제한 여부 표시)이고, 둘째는 같은 기간의 CPA(또는 ROAS)입니다. 도입 전 12주와 도입 후 12주(CAPI 안정화 기간을 감안해 최소 1주는 건너뛰고 그다음 구간부터) 구간을 나눠 두 지표를 대조합니다.

이때 유의할 점은 도입 직후 구간을 곧바로 '도입 후' 데이터로 쓰면 안 된다는 것입니다. event_id 중복제거 설정이 아직 완전히 안정화되지 않았거나, EMQ 점수가 최적 수준에 도달하기 전이라면 그 구간의 수치는 과도기 데이터일 뿐입니다. 6강에서 다룬 테스트 이벤트 도구로 중복제거·매칭이 정상 작동함을 먼저 확인한 뒤, 그 시점 이후의 데이터부터를 '도입 후' 구간으로 잡아야 비교가 공정해집니다.

CPA 개선 수치를 어떻게 해석해야 하는가

메타의 2026년 자체 보고에 따르면, CAPI를 적용한 계정의 평균 목표달성비용(cost-per-result)이 17.8% 개선됐습니다. 이 수치는 참고 기준선으로 삼을 수는 있지만, 개별 계정에 그대로 적용된다고 단정할 수는 없습니다. 이 수치는 메타 자체 데이터에 기반한 평균값이므로, 개별 계정의 실제 성과는 데이터 품질(EMQ 점수), 타겟 업종, 광고 소재에 따라 크게 달라질 수 있습니다. 그래서 이 17.8%라는 숫자는 "우리 계정도 이만큼 개선될 것"이라는 기대치가 아니라, "우리 계정의 실측 개선폭이 이 평균과 비교해 얼마나 차이 나는지, 차이가 크다면 무엇이 원인인지" 점검하는 비교 기준선으로 쓰는 것이 더 정확한 활용법입니다.

학습 재리셋을 판정 오류로 착각하지 않는다

대조 실험 도중 예산이나 타겟팅을 함께 조정하면 판정이 왜곡됩니다. 예산 증액은 한 번에 20%를 넘지 않는 것이 권장되며, 20%를 초과하는 증액은 알고리즘이 학습해온 전달 조건을 크게 바꿔 새로운 학습(탐색) 단계를 유발할 수 있습니다. 증액 간격은 3~5일을 두어 알고리즘이 재안정화할 시간을 주는 것이 일반적으로 권장됩니다. CAPI 도입 효과를 측정하는 기간에는 예산·타겟팅 변수를 최대한 고정해, CPA 변화가 CAPI 때문인지 다른 변수 때문인지 뒤섞이지 않도록 통제하는 것이 판정의 핵심입니다.

대조 실험 결과를 다음 캠페인 설계에 반영한다

대조가 끝나 CAPI 고도화의 실제 효과가 확인됐다면, 이 결과를 다음 신규 캠페인 설계 단계에서 학습 목표 이벤트를 정할 때 참고 자료로 활용할 수 있습니다. 특히 전환 볼륨이 적어 학습 제한에 자주 빠지던 계정이라면, CAPI로 복구되는 이벤트량을 사전에 가늠해 목표 이벤트를 구매로 바로 잡을지, 장바구니담기 같은 상위 이벤트로 시작할지 판단하는 데 이번 대조 데이터를 근거로 쓸 수 있습니다.