왜 ROAS가 아니라 MER로 비교해야 하나

메타 광고 관리자가 보여주는 ROAS는 그 매체 자체의 귀인 모델을 기준으로 계산됩니다. iOS ATT 이후 귀인의 정확도가 예전만 못하다는 것은 104강에서도 다룬 내용인데, 이 왜곡은 서로 다른 캠페인 구조(ABO vs A+SC)를 비교할 때 특히 문제가 됩니다. 구조가 다르면 메타 시스템이 귀인을 처리하는 방식도 미묘하게 달라질 수 있어, 매체 리포트 ROAS만으로 비교하면 실제 효율 차이가 아니라 귀인 처리 차이를 비교하게 될 위험이 있습니다. MER(전체 매출÷전체 광고비)은 매체 리포트에 의존하지 않는 사업 전체 지표라 이런 왜곡에서 비교적 자유롭습니다.

'테스트는 ABO, 스케일은 CBO'라는 원칙이 이 실험에 시사하는 것

업계에서 통용되는 원칙은 신규 소재·오디언스를 검증할 때는 광고 세트 예산(ABO)으로 균등한 조건에서 데이터를 확보하고, 이미 검증된 소재가 있다면 캠페인 예산(CBO·어드밴티지+)으로 전환해 자동 배분에 맡기는 것입니다. 이 원칙은 두 구조가 "어느 게 항상 더 낫다"의 관계가 아니라 "서로 다른 국면에 맞는 도구"라는 것을 전제합니다. 이번 실험은 이 전제를 자신의 계정 데이터로 직접 검증하는 절차입니다.

14일이라는 기간을 선택한 이유

어드밴티지+ 구조든 기존 ABO/CBO 조합이든, 캠페인을 새로 시작하면 초반 며칠은 알고리즘이 학습하는 불안정한 구간을 거칩니다. 이 구간의 데이터를 포함해 비교하면 결과가 왜곡되므로, 최소 며칠의 학습 구간을 감안하고도 안정화된 데이터를 충분히 확보하려면 14일 정도의 기간이 현실적인 기준으로 제시됩니다. 기간이 너무 짧으면 노이즈에, 너무 길면 계절성 등 다른 변수에 결과가 흔들릴 수 있습니다.

비교 조건을 맞추는 구체적인 방법

같은 카탈로그, 같은 예산 총액, 같은 기간으로 한쪽은 기존 ABO/CBO 매트릭스 구조로, 다른 한쪽은 A+SC 구조로 나란히 운영합니다. 가능하다면 두 구조에 투입하는 소재 풀도 동일하게 맞춰야, 결과 차이가 캠페인 구조의 차이인지 소재 차이인지 헷갈리지 않습니다.

결과를 일반화하기 전에 확인해야 할 전제 조건

업계 분석에 따르면 A+SC의 예산 배분 효율이 기존 수동 CBO를 능가하는 것은 픽셀 신호가 강할 때(월간 구매 이벤트 2,000건 이상 권장)로 한정되는 경향이 있습니다. 즉 이 실험의 결과는 모든 계정에 보편적으로 적용되는 법칙이 아니라, 자기 계정의 트래픽·전환 규모라는 조건 위에서 성립하는 조건부 결론으로 다뤄야 합니다. 전환 이벤트가 적은 소규모 계정이라면 결과가 다르게 나올 수 있으므로, 실험 결과를 보고할 때는 당시 계정의 월간 구매 이벤트 규모도 함께 기록해두는 것이 나중에 이 결과를 재해석할 때 유용합니다.

증분성 검증까지 함께 고려해야 하는 이유

MER이 매체 귀인 왜곡을 피하는 데는 도움이 되지만, 매출 증가가 정말 광고 때문에 일어난 것인지(증분성)까지 확인하려면 특정 지역에는 광고를 집행하지 않는 지역 홀드아웃 테스트 같은 별도 검증이 필요합니다. 이번 14일 실험은 두 구조 간의 상대 비교에 집중하고, 광고 전체의 증분성 검증은 별도의 더 큰 실험으로 다루는 것이 현실적입니다.

실험 결과가 예상과 다르게 나올 때의 해석 방법

만약 A+SC가 기존 구조보다 더 나은 결과를 냈다면, 그 이유가 정말 자동화된 예산 배분의 우수성 때문인지 아니면 단순히 소재 다양성이 더 풍부했기 때문인지 구분해봐야 합니다. 반대로 기존 구조가 더 나은 결과를 냈다면, 픽셀 신호가 아직 충분히 강하지 않은 상태이거나 소재 풀이 A+SC의 자동 탐색을 살리기에 부족했을 가능성을 먼저 점검해야 합니다. 결과를 그대로 받아들이기보다 그 결과를 만든 조건까지 함께 분석하는 것이 다음 판단에 더 유용합니다.

이 실험을 조직의 표준 절차로 만드는 법

한 번의 비교로 끝내지 않고, 새로운 상품 카테고리를 런칭하거나 새로운 시장에 진출할 때마다 같은 방식의 14일 비교 실험을 표준 절차로 반복하면, 카테고리·시장별로 어느 구조가 더 적합한지에 대한 데이터가 조직 안에 축적됩니다. 이 데이터는 시간이 지날수록 새로운 캠페인을 설계할 때 추측이 아니라 근거를 바탕으로 구조를 선택할 수 있게 해주는 자산이 됩니다.