캡처 한 장이 갖는 근본적인 증명력 한계

2편에서 다룬 대로 생성형 AI 답변은 매번 달라질 수 있는 확률적 특성을 갖고 있습니다. 이 특성을 그대로 적용하면, 특정 시점에 캡처한 결과 한 장은 그 순간 그 조건에서 우연히 나온 하나의 표본에 불과합니다. 같은 질문을 10번 던졌을 때 8번은 브랜드가 언급되지 않고 2번만 언급됐다 해도, 그 2번 중 하나를 캡처해서 보여주면 겉보기에는 "성과가 있다"는 인상을 줄 수 있습니다. 실제 언급률은 20%에 불과한데도 캡처 한 장만 보면 100%처럼 보이는 왜곡이 생기는 셈입니다.

이 한계는 대행사가 의도적으로 속이려 하지 않아도 발생할 수 있습니다. 담당자가 우연히 좋은 결과가 나온 순간을 캡처해 보고하는 경우도 있고, 실제로 여러 번 시도한 뒤 가장 좋은 결과만 골라 보고하는 경우도 있어, 어느 쪽이든 캡처 한 장만으로는 실제 평균적인 상태를 알 수 없습니다.

이 문제는 전통적인 SEO 순위 보고 관행과 비교하면 더 뚜렷하게 드러납니다. SEO에서는 "이 키워드로 검색하면 3위에 노출된다"는 결과가 며칠, 몇 주씩 상당 기간 안정적으로 유지되는 반면, 생성형 AI 답변은 애초에 그런 안정성 자체를 기대하기 어려워 같은 방식의 보고 관행을 그대로 옮겨오면 오해를 낳기 쉽습니다.

프롬프트 설계가 결과를 얼마나 좌우하는가

어떤 질문을 던지느냐에 따라 AI 답변의 내용이 크게 달라집니다. "OO 업종 추천해줘"라는 일반적인 질문과 "OO 지역에서 가성비 좋은 OO 업체 추천해줘"라는 구체적인 질문은 완전히 다른 답변을 이끌어낼 수 있습니다. 대행사가 브랜드에 유리한 답이 나오도록 질문 자체를 세심하게 설계해서 보여준다면, 실제 잠재 고객이 자연스럽게 던질 법한 질문과는 거리가 먼 결과일 수 있습니다.

이 때문에 성과를 검증할 때는 대행사가 제시한 프롬프트가 실제 소비자가 던질 법한 자연스러운 질문인지, 아니면 결과를 유도하기 위해 인위적으로 설계된 질문인지를 함께 살펴봐야 합니다. 예를 들어 질문에 브랜드명을 직접 포함시키면 당연히 그 브랜드가 언급될 확률이 높아지므로, 브랜드명을 언급하지 않은 일반적인 질문에서도 결과가 유지되는지가 훨씬 의미 있는 검증입니다.

체리피킹을 가려내는 방법

"체리피킹"은 여러 시도 중 유리한 결과만 골라 보여주는 행위를 말합니다. 이를 가려내는 가장 직접적인 방법은, 대행사에 같은 조건으로 여러 번 반복 시도한 전체 결과를 요청하는 것입니다. 10번 시도해서 2번만 좋은 결과가 나왔다면, 그 2번만 보여주는 것과 10번 전체의 결과를 보여주는 것은 완전히 다른 그림을 전달합니다.

전체 결과를 요청했을 때 대행사가 이를 꺼리거나 "그건 큰 의미가 없다"는 식으로 회피한다면, 이는 체리피킹이 있었을 가능성을 의심할 만한 신호로 볼 수 있습니다. 반대로 요청하지 않아도 먼저 전체 시도 결과를 투명하게 공유하는 대행사라면, 그 자체가 신뢰할 수 있는 파트너라는 긍정적 신호로 볼 수 있습니다.

신뢰할 수 있는 캡처가 갖춰야 할 최소 조건

캡처 자체가 무의미한 것은 아닙니다. 개별 사례를 보여주는 자료로서 가치가 있으려면, 최소한 캡처를 생성한 날짜와 시간, 사용한 AI 모델과 버전, 실제로 입력한 프롬프트 원문이 함께 제시돼야 합니다. 이 정보가 없는 캡처는 언제, 어떤 조건에서 나온 결과인지 검증할 방법이 없어 신뢰도가 크게 떨어집니다.

이 최소 조건은 5편에서 다룰 성과 측정 방법론의 기본 단위이기도 합니다. 개별 캡처를 이렇게 표준화된 형태로 여러 번 쌓아야, 비로소 4편에서 다룰 경향성 분석이 가능해집니다. 조건을 함께 기록하는 습관은 대행사뿐 아니라 브랜드 담당자가 스스로 점검할 때도 동일하게 적용해야 하는 원칙입니다.

진짜 신뢰할 수 있는 보고서의 형태

가장 신뢰할 수 있는 성과 보고는 캡처 이미지가 아니라, 동일한 조건(같은 질문 세트, 같은 측정 주기)으로 반복 측정한 결과를 통계로 요약한 형태입니다. 예를 들어 "지난 4주간 매주 20개 질문에 대해 측정한 결과, 브랜드 언급률이 12%에서 28%로 증가했다"는 식의 보고는 캡처 한 장보다 훨씬 신뢰할 수 있는 근거가 됩니다.

이런 형태의 보고서를 요구하는 것 자체가 대행사의 실제 역량을 가늠하는 방법이기도 합니다. 이런 측정 체계를 갖추지 못한 대행사는 애초에 신뢰할 수 있는 GEO·AEO 서비스를 제공할 준비가 안 돼 있을 가능성이 큽니다. 계약 초기 단계에서부터 이런 형태의 보고서를 정기적으로 받기로 명시해두면, 이후 성과를 둘러싼 불필요한 논쟁을 줄일 수 있습니다.