중복이 세그먼트를 어떻게 왜곡하나

한 사람이 두 개의 프로필로 나뉘어 있으면 구매 이력도 둘로 쪼개집니다. 최근 구매 시기, 구매 빈도, 구매 금액 세 축으로 등급을 매기는 방식에서 빈도와 금액이 절반씩 나뉘면 원래 최상위 등급이어야 할 고객이 중간 등급으로 내려앉습니다. 즉 중복은 상위 세그먼트를 실제보다 작게 만듭니다.

발송 쪽에서는 반대 방향의 문제가 생깁니다. 같은 사람이 두 프로필로 각각 대상이 되어 메시지를 두 번 받습니다. 빈도 상한을 걸어도 프로필 단위로 세면 소용이 없습니다. 신원 해석 자동화가 중복 프로필을 병합해 오디언스 파편화로 잘못된 사람에게 잘못된 메시지가 나가는 사고를 줄이도록 설계됐다고 설명되는 것도 이 두 가지 문제 때문입니다.

결측은 왜 조용히 손실을 만드나

결측 필드는 오류로 드러나지 않습니다. 조건에 맞지 않는 것으로 처리되어 대상에서 그냥 빠집니다. 조건이 하나면 손실이 눈에 띄지만, 조건 서너 개를 결합한 세그먼트에서는 각 조건마다 조금씩 빠져 최종 인원이 예상의 절반이 되는 일이 생깁니다.

그래서 진단할 때는 조건별 통과 인원을 단계적으로 봐야 합니다. 전체 회원에서 첫 조건을 적용한 인원, 거기에 둘째 조건을 더한 인원 식으로 누적해 가면 어느 조건에서 인원이 급격히 줄었는지가 드러납니다. 급감 구간의 필드를 열어 보면 대개 결측이 원인입니다. 이 방식은 세그먼트를 만들 때마다 한 번씩 해 두면 잘못된 조건을 조기에 잡을 수 있습니다.

어떤 지표로 진단하나

국내에서 허용 중복률이나 결측률의 표준값을 공표한 기관은 확인되지 않습니다. 절대 기준을 찾기보다 자사 수치를 기준선으로 만들고 추이를 보는 편이 실용적입니다. 진단 지표로는 네 가지를 권합니다.

첫째는 중복 의심 프로필 비율입니다. 정규화한 연락처나 이메일이 둘 이상의 프로필에 나타나는 경우를 셉니다. 둘째는 조건 사용 필드별 결측률입니다. 셋째는 식별자 유효율로, 자리 채우기 값이나 형식 오류를 걸러 계산합니다. 넷째는 집계 대조 차이입니다. CDP가 집계한 기간 매출과 원장 매출을 비교하는데, 제휴 마케팅에서 집계 전환수가 내부 주문 수와 5~10% 이상 차이 나면 추적 문제 신호로 보는 관행을 참고하되 그 수치를 세그먼트 품질 기준으로 그대로 옮기지는 않습니다.

절대 기준이 없다고 해서 참고할 값이 전혀 없는 것은 아닙니다. 데이터 품질 기업 Experian이 2021년 미국·영국·브라질의 비즈니스 리더 700명을 조사한 글로벌 데이터 관리 리포트에서, 기업들은 자사 고객·잠재고객 데이터의 약 3분의 1이 어떤 형태로든 부정확하다고 인식했고, CRM·ERP 데이터가 깨끗해 온전히 활용 가능하다고 답한 비율은 50%에 그쳤습니다. 실제 측정치가 아니라 담당자의 체감을 물은 해외 설문이고 국내 공식 통계도 아니므로 목표치로 쓸 수 없습니다. 다만 자사 진단에서 중복·결측이 두 자릿수로 나와도 그것이 이례적인 상태는 아니라는 정도의 좌표로는 쓸 수 있습니다.

진단 범위를 어떻게 좁히나

전체 DB의 모든 필드를 진단하려 들면 보고서만 두꺼워지고 조치는 시작되지 않습니다. 범위는 실제로 세그먼트 조건과 개인화 변수에 쓰이는 필드로 한정합니다. 현재 운영 중인 세그먼트 목록을 뽑아 조건에 등장하는 필드를 모으면 대개 예닐곱 개로 정리됩니다.

여기에 하나를 더합니다. 동의·수신거부 관련 필드는 사용 여부와 무관하게 항상 진단 대상에 넣습니다. 다른 필드의 오류는 성과 손실로 끝나지만 동의 필드의 오류는 정보통신망법 제50조 제2항 위반으로 이어지기 때문입니다. 채널별·목적별로 필드가 나뉘어 있는지, 철회 이력이 남아 있는지를 함께 확인합니다.

중복을 줄이려다 무엇을 조심해야 하나

중복률을 낮추라는 지시가 내려오면 매칭 조건을 느슨하게 만들고 싶어집니다. 이름과 생년월일만 같으면 합치는 식입니다. 그러나 매칭을 느슨하게 잡으면 서로 다른 사람이 한 프로필로 잘못 합쳐지는 과병합이 생기고, 이는 다른 사람의 구매 이력이 메시지에 노출되는 개인정보 사고로 이어집니다.

되돌리기 난이도도 다릅니다. 미병합은 나중에 합칠 수 있지만 과병합은 원래 어느 데이터가 누구 것이었는지 복원하기 어렵습니다. 그래서 중복률은 낮출 목표가 아니라 관찰할 지표로 두고, 줄이는 방법은 매칭 완화가 아니라 수집 단계의 개선에서 찾는 편이 맞습니다. 가입·주문 화면에서 식별자를 정확히 받고, 적재 시점에 같은 정규화 규칙을 적용하는 것이 근본 해법입니다.