답변
고객 VOC 텍스트 분석의 효과가 늘었다고 해도, 그게 이 프로그램 때문인지 원래도 늘었을 자연 증가인지 구분하지 않으면 다음 분기 예산 근거로 쓸 수 없습니다. 효과가 진짜 그 프로그램 때문인지 원래도 일어났을 자연 증가인지 구분하려면 상관관계가 아니라 증분 효과(incrementality)로 검증해야 한다. 가장 흔한 방법은 무작위로 나눈 홀드아웃(대조군)에는 프로그램을 노출하지 않고 노출군과의 매출·재구매율 차이를 비교하는 방식이고, 전국 단위로 끄기 어려운 경우는 일부 지역만 켜서 비교하는 지역 실험(geo-lift test)을 쓴다. 단순히 시행 전후 숫자를 비교하는 사전사후 비교는 계절성·다른 캠페인 영향이 섞여 증분 효과를 과대평가하기 쉬우므로 단독 근거로 쓰지 않는 것이 안전하다. 구글 Cloud Natural Language API의 감성 분석(analyzeSentiment)은 텍스트에서 지배적인 감정을 score(방향, 양수는 긍정·음수는 부정)와 magnitude(강도) 두 수치로 표현한다. 대량의 리뷰·문의를 사람이 일일이 읽지 않고도 감성 점수로 1차 분류할 수 있어, 소수 인력으로 VOC 텍스트 분석을 시작할 때 실무적으로 쓸 수 있는 방법이다. 썸트렌드(Sometrend) 같은 소셜 리스닝 도구는 트위터(X)·블로그·인스타그램·뉴스·커뮤니티(뽐뿌·네이트판·중고나라 등 7,000개 이상 게시판 포함) 데이터를 한 곳에서 모아 긍부정(감성) 분석, 기간별 언급량 추이, 연관어, 인플루언서 언급을 거의 실시간에 가깝게 보여준다. VOC를 자사 게시판·CS 채널에만 국한하면 이런 외부 언급량을 놓치므로 분석 범위를 처음부터 넓게 잡아야 한다. 테스트에 쓸 예산·기간이 빠듯하다면 완벽한 홀드아웃 대신 지역 단위로라도 대조군을 남겨두시는 걸 권합니다 — 아예 증분 검증 없이 전수 노출로 진행하면 다음 분기 예산 방어 자체가 어려워집니다.