사후 검증이 왜 CBO를 켠 직후에는 의미가 없는가

CBO를 켠 직후의 데이터로 곧바로 "단가가 낮아졌다" 또는 "높아졌다"를 판단하면 잘못된 결론에 이르기 쉽습니다. CBO는 예산 배분 방식이 바뀌는 변화이기 때문에, 켜는 순간 알고리즘이 새로운 배분 패턴을 학습하는 국면으로 들어갑니다. 이 학습 안정화 구간에는 성과가 일시적으로 흔들리는 것이 자연스러운 현상이며, 이 시기의 숫자로 CBO의 진짜 효과를 판단하면 "일시적으로 나빠졌으니 CBO가 안 좋다"거나 "일시적으로 좋아 보이니 CBO가 효과적이다" 같은 성급한 결론에 빠지게 됩니다.

따라서 사후 검증의 첫 번째 원칙은 "학습이 안정화된 이후 구간끼리 비교한다"는 것입니다. CBO를 켠 날로부터 최소 며칠간은 관찰만 하고, 그 이후 안정화된 구간의 데이터를 비교 대상으로 삼아야 CBO 자체의 효과를 왜곡 없이 볼 수 있습니다.

비교 기간을 고를 때 학습 기준선을 왜 함께 확인해야 하는가

이 과목 전반에서 다룬 대로, 세트가 안정적으로 최적화됐다고 인정받으려면 주당 최소 50건의 최적화 이벤트가 필요합니다. CBO 전후 비교 리포트를 만들 때도 이 기준선을 채운 구간을 골라야 합니다. 만약 비교 대상 기간 중 어느 한쪽이 학습 제한 상태에 머물러 있었다면, 그 구간의 수치는 알고리즘이 정상적으로 작동한 결과가 아니라 데이터 부족으로 보수적으로 움직인 결과이므로 비교 자체가 성립하지 않습니다.

실무에서는 비교하려는 두 기간(CBO 도입 전/후) 모두에서 세트별 또는 캠페인별 주간 전환수를 먼저 확인하고, 두 구간 모두 기준선을 넘긴 것을 확인한 뒤에야 CPA·ROAS 같은 성과 지표를 나란히 놓고 비교하는 순서를 따라야 합니다. 이 확인을 건너뛰면 "CBO 덕분에 좋아졌다"는 결론이 사실은 "예전에는 학습 제한이었는데 지금은 정상 학습 상태가 됐을 뿐"인 착시일 수 있습니다.

2026년 1월 기여 기간 옵션 제거가 코호트 비교에 미치는 영향은 무엇인가

메타는 2026년 1월 12일부로 광고 인사이트 API에서 7일 조회와 28일 조회 기여 기간 옵션을 영구 제거했습니다. 이 변경 이전에 이 옵션들을 기준으로 집계된 과거 데이터와, 변경 이후 다른 기여 기준으로 집계된 최신 데이터를 그대로 나란히 놓고 비교하면, CBO 효과와 기여 정책 변경 효과가 뒤섞여 오차가 생길 수 있습니다. 특히 이 시점을 전후로 하는 장기 코호트 비교 리포트를 만들 때는 이 정책 변경 시점을 반드시 표시해두고, 가능하면 정책 변경 전후 구간을 나눠서 따로 비교하는 것이 안전합니다.

같은 맥락에서 2026년 3월에 도입된 참여 유도(engage-through) 기여 분리도 장기 비교에 영향을 줄 수 있습니다. 참여형 캠페인을 함께 운영하는 계정이라면, 이 시점 이후 귀속 전환수가 줄어든 것이 CBO나 예산 변경 때문인지, 기여 정책 변경 때문인지 구분해서 리포트에 명시해야 오해를 줄일 수 있습니다.

다른 변수가 같은 시기에 바뀌었다면 어떻게 분리해서 봐야 하는가

CBO 도입과 동시에 입찰 전략(비용 캡, 입찰가 캡)이나 소재, 오디언스 설정까지 함께 바꾸는 경우가 실무에서는 흔합니다. 비용 캡은 결과당 평균 비용을 목표 수준 이하로 유지하는 방식이고, 입찰가 캡은 개별 경매의 최대 입찰액에 엄격한 상한을 거는 방식으로, 이 둘 중 어느 것을 쓰느냐에 따라서도 CPA 패턴이 달라집니다. CBO와 입찰 전략을 동시에 바꾸고 CPA가 개선됐다면, 그 개선이 CBO 때문인지 입찰 전략 변경 때문인지 구분할 수 없습니다.

가능하다면 변수를 하나씩만 바꾸고 그 효과를 확인한 뒤 다음 변수를 바꾸는 것이 가장 깔끔한 검증 방법입니다. 다만 실무 일정상 여러 변경을 동시에 진행해야 했다면, 리포트에 변경 이력을 시간순으로 함께 기록해두어 나중에라도 "이 시점에 무엇이 함께 바뀌었는지"를 추적할 수 있게 해야 합니다.

수직 스케일업과 수평 스케일업의 효과는 왜 따로 봐야 하는가

CBO 캠페인의 예산을 사후에 계속 늘려온 계정이라면, 단일 캠페인의 예산을 계속 올려온 수직 스케일업과, 성과가 검증된 캠페인을 복제해 별도로 운영해온 수평 스케일업이 섞여 있을 수 있습니다. 예산 증액은 한 번에 20%를 넘지 않고 3~5일 간격을 두는 것이 권장되는데, 이 원칙을 지키며 점진적으로 늘려온 수직 스케일업의 효과와, 완전히 새로운 캠페인을 복제해 늘린 수평 스케일업의 효과는 성격이 다른 성장이므로 같은 지표로 뭉뚱그려 보면 어느 쪽이 실제로 효율적이었는지 알 수 없습니다.

사후 검증 리포트에서는 이 두 가지를 캠페인 계보(원본/복제본)와 예산 변경 이력 기준으로 나눠서 각각의 CPA·ROAS 추이를 따로 그려보는 것이 정확한 판단에 도움이 됩니다. 수직으로 늘린 캠페인이 특정 예산 지점에서 효율이 꺾이기 시작했다면, 이후 확장은 같은 캠페인을 더 키우기보다 수평 복제로 전환하는 것이 이 과목에서 다룬 스케일업 원칙에 맞는 다음 결정입니다.