왜 '고친 것 같다'가 아니라 수치로 판정해야 하나

1~9강에서 다룬 여러 오류(픽셀 비활성화, 도메인 미인증, JS 충돌, 값 형식 오류, 중복 집계 등)를 수정한 뒤에는 "이제 정상으로 보인다"는 인상만으로 작업을 마무리하지 않는 것이 중요합니다. 트래킹 인프라 문제는 겉보기 지표(이벤트 발동 여부)가 정상이어도 데이터 품질(매칭 정확도)이 여전히 낮을 수 있기 때문에, 수정 전후를 같은 기준의 수치로 비교하는 실험 설계가 필요합니다. 이 비교의 핵심 지표가 바로 이벤트 일치 등급(Event Match Quality, EMQ)입니다.

EMQ가 측정하는 것과 읽는 법

EMQ는 CAPI를 통해 전송한 고객 정보가 메타 계정의 사용자 그래프와 얼마나 잘 매칭되는지를 실시간으로 측정하는 점수로, 010점 또는 Poor/OK/Good/Great 등급으로 표시됩니다. 20252026년 기준으로 6점 이상이면 양호한 수준으로, 8점 이상이면 최적의 광고 성과를 위한 권장 기준으로 통용됩니다. 이 점수는 전송된 매개변수의 종류(이메일, 전화번호, 외부ID 같은 고품질 식별자 vs fbp·fbc 같은 중간 등급 식별자)와 데이터 정제 수준에 따라 결정됩니다. 픽셀 코드를 고쳐도 애초에 전송하는 식별자 종류가 빈약하면 EMQ는 낮게 유지되므로, 수정 작업의 범위에 어떤 식별자를 추가로 보낼지도 함께 검토하는 것이 좋습니다.

실험 설계: 수정 전후 7일씩 비교하는 이유

7일 단위로 비교하는 것은 요일별 트래픽·구매 패턴 편차를 줄이기 위함입니다. 평일과 주말의 전환 패턴이 다른 업종(주말 매출이 몰리는 이커머스 등)에서 34일만 비교하면 요일 구성이 달라 왜곡된 결론을 낼 수 있습니다. 수정 작업을 배포한 날을 기준으로, 배포 직전 7일과 배포 이후 안정화된 7일을 비교 구간으로 설정하는 것이 일반적입니다. 배포 당일과 그 다음 하루 이틀은 과도기 데이터로 취급해 비교 구간에서 제외하는 것이 좋은데, 이는 AEM 리포팅이 2448시간의 의도된 지연을 두고 집계되기 때문입니다 — 이 지연을 감안하지 않고 배포 다음 날 바로 수치를 비교하면 아직 과거 데이터가 섞여 있어 개선 효과가 실제보다 낮게 보일 수 있습니다.

비교할 지표를 EMQ 하나로 좁히지 않는다

EMQ가 핵심 지표이긴 하지만, 이것 하나만으로 트래킹 인프라 전체의 건강도를 판단하기는 부족합니다. 함께 봐야 할 보조 지표로는 이벤트 관리자의 '중복 제거된 이벤트' 비율(7강에서 다룬 중복 문제가 해소됐는지), 픽셀과 CAPI 각각의 이벤트 수신량 추이(픽셀 비활성화 문제가 재발하지 않는지), 그리고 웹사이트 커스텀 오디언스의 크기 변화(4강에서 다룬 리타겟팅 오디언스 회복 여부)가 있습니다. 이 네 가지 지표를 같은 전후 7일 구간으로 나란히 놓고 보면, 수정 작업이 어느 부분에서 효과가 있었고 어느 부분은 여전히 남은 문제인지 구분할 수 있습니다.

판정 기준을 미리 정해두고 시작한다

실험을 시작하기 전에 "이 정도면 성공"이라는 기준을 미리 합의해두는 것이 사후 해석의 자의성을 줄입니다. 예를 들어 EMQ가 수정 전 4~5점대였다면 수정 후 목표를 6점 이상(양호 기준)으로 설정하고, 이미 6점대였다면 8점 이상(최적 기준)을 목표로 삼는 식입니다. 중복 제거 비율이나 오디언스 크기 회복 목표도 마찬가지로 사전에 숫자로 정해두면, 팀 내에서 "충분히 고쳐졌다"와 "추가 조치가 필요하다"를 판단할 때 감이 아니라 합의된 기준으로 논의할 수 있습니다.

개선이 안 나타났을 때 다시 확인할 것

7일 비교 후에도 EMQ나 오디언스 크기가 눈에 띄게 개선되지 않았다면, 두 가지 가능성을 순서대로 점검합니다. 첫째는 수정 작업 자체가 원인을 완전히 해결하지 못한 경우입니다 — 예를 들어 5강에서 다룬 JS 충돌을 결제 페이지 하나만 고치고 다른 랜딩 페이지에 같은 코드 패턴이 남아있는 경우입니다. 둘째는 수정은 정확히 됐지만 비교 구간 설정이 잘못된 경우입니다 — AEM 지연을 감안하지 않았거나, 비교 구간에 프로모션·세일 같은 외부 변수가 끼어 있어 순수한 트래킹 효과와 트래픽 변화가 섞여버린 경우입니다. 두 경우를 구분하려면 이벤트 관리자 진단 탭에서 남아있는 개별 경고가 있는지 다시 확인하고, 없다면 비교 구간을 한 주 더 늘려 재검증하는 것이 순서입니다.