왜 남의 기준을 쓰면 안 되나

수령 후 며칠에 리마인드를 보내야 리뷰 작성률이 가장 높은지를 공표한 국내 기관은 확인되지 않습니다. 업체 자료에 적힌 며칠이라는 숫자는 그 회사 고객사 집계이며, 상품 특성에 따라 크게 달라지는 값입니다. 옷은 받자마자 입어 볼 수 있지만 가전은 며칠 써 봐야 할 말이 생기고, 식품은 유통기한 안에 먹어야 합니다.

수치가 아예 없지는 않습니다. Journal of Marketing 2023년 논문 Ask for Reviews at the Right Time은 국내 최대 온라인 여행 마켓플레이스와 국내 대형 온라인 패션 마켓플레이스에서 소비자 30만 명 이상을 대상으로 무작위 현장실험을 진행했습니다. 여행 실험은 체험 다음 날과 5일·9일·13일 네 구간에서, 패션 실험은 1630시간과 3040시간·7일·14일 네 구간에서 리마인드를 보내 비교했습니다. 패션 실험 참가자 29만 1,954명 기준으로 리마인드가 없었을 때 작성률은 가장 이른 구간 7.78%, 가장 늦은 구간 1.32%였고, 리마인드를 보내자 7.31%와 2.16%가 되어 늦은 구간에서는 63.6% 늘고 이른 구간에서는 6% 줄었습니다. 저자들은 이른 리마인드가 리뷰 품질을 떨어뜨렸다는 증거는 찾지 못했고 늦은 리마인드는 뒤늦게 달린 리뷰의 품질을 조금 높였다고 밝힙니다. 국내 소비자 표본이지만 정부나 업계단체가 낸 공식 통계가 아니고 두 마켓플레이스의 특정 상품군에서 나온 값이라, 우리 카테고리의 정답으로 옮길 수는 없습니다.

그래서 이 질문은 답을 찾는 문제가 아니라 우리 값을 계산하는 문제입니다. 다행히 계산에 필요한 데이터는 이미 우리 주문 시스템 안에 있습니다. 리마인드를 보내지 않았을 때도 리뷰는 일정 비율로 작성되기 때문입니다.

기준선은 무엇으로 삼나

가장 먼저 뽑을 것은 자연 작성 시점 분포입니다. 지난 6개월 주문 중 배송 완료 시각과 리뷰 작성 시각이 모두 남아 있는 건을 골라, 두 시각의 간격을 일 단위로 세어 봅니다. 여기서 리뷰가 가장 많이 몰리는 구간과 급격히 줄어드는 지점이 드러납니다.

리마인드는 이 분포에서 리뷰가 줄어들기 시작하는 지점 직전에 넣는 것이 첫 후보가 됩니다. 이미 대다수가 쓰는 구간에 보내면 어차피 쓸 사람에게 보내는 셈이고, 너무 늦게 보내면 상품에 대한 기억이 흐려집니다. 카테고리별로 분포가 다르므로 값은 카테고리마다 따로 둡니다.

검증은 어떤 설계로 하나

후보 시점을 두세 개 정하고 같은 조건의 주문을 무작위로 나눠 각각 다른 날 발송합니다. 여기에 아무것도 보내지 않는 대조군을 하나 더 둡니다. 대조군이 있어야 리마인드가 만든 증분과 원래 작성됐을 리뷰를 구분할 수 있습니다.

바꾸는 항목은 발송 시점 하나뿐이어야 합니다. 문구와 채널과 대상 카테고리는 고정합니다. 비교는 같은 요일끼리 하고, 기간과 표본 수와 지표를 시작 전에 정해 그대로 끝냅니다. 중간에 좋아 보이는 시점에서 멈추면 그 결과는 다음 분기에 재현되지 않습니다.

발송 직전에 무엇을 걸러야 하나

억제 조건이 이 시나리오의 핵심입니다. 이미 리뷰를 작성한 고객, 반품이나 교환이 진행 중인 주문, 배송 사고가 접수된 주문은 대상에서 빠져야 합니다. 특히 반품 진행 중인 고객에게 리뷰를 요청하면 부정적 반응이 그대로 돌아옵니다.

이 조건들은 세그먼트 조건보다 먼저 평가돼야 하고, 배치 동기화가 아니라 발송 직전에 다시 조회하는 구조가 안전합니다. 리뷰 작성 완료 이벤트가 늦게 반영되면 방금 쓴 고객에게 다시 써 달라는 메시지가 나갑니다. 수신거부와 동의 철회는 말할 것도 없이 최우선으로 걸립니다.

반복 발송은 어디까지 허용하나

리마인드를 두 번 보내면 작성률이 조금 더 오르는 경향이 있지만, 그만큼 수신거부와 채널 차단도 늘어납니다. 이 둘을 같은 표에서 보지 않으면 작성률만 보고 횟수를 늘리게 됩니다. 주문 1건당 리마인드 최대 횟수를 정해 두고, 그 상한 안에서만 실험하는 편이 안전합니다.

메시지 성격도 함께 검토해야 합니다. 대가 없이 후기를 남겨 달라는 요청과 적립금을 걸어 유도하는 요청은 채널 선택 기준이 달라집니다. 혜택을 조건으로 특정 행위를 유도하는 내용은 알림톡 발송 불가 유형에 해당하므로, 적립금을 걸 계획이라면 동의를 확보한 채널이나 채널 친구 대상 메시지로 분리해야 합니다.

작성률만 보면 놓치는 것은 무엇인가

리뷰는 개수보다 쓰임이 중요합니다. 리마인드를 이르게 보내면 아직 써 보지 않은 상태에서 짧은 후기가 쌓이고, 그런 후기는 다른 고객의 구매 판단에 도움이 되지 않습니다. 작성률과 함께 리뷰 길이, 사진 첨부 비율, 그리고 그 상품 페이지의 구매 전환율을 함께 보면 어느 시점이 실제로 쓸모 있는 리뷰를 만드는지가 드러납니다.

평점 분포도 확인할 항목입니다. 특정 시점에 보낸 리마인드에서 낮은 평점이 몰린다면, 그 시점이 아직 문제를 겪고 있는 구간일 수 있습니다. 이 경우 발송 시점을 옮기는 것보다 그 구간에서 무슨 일이 벌어지는지 확인하는 쪽이 먼저입니다. 리뷰 리마인드는 상품과 배송 경험을 그대로 반사하는 장치라, 낮은 평점이 늘었다는 신호를 발송 설계 문제로만 해석하면 원인을 놓칩니다.

결과를 어떻게 기록해 남기나

실험이 끝나면 카테고리, 후보 시점, 작성률, 대조군 대비 증분, 수신거부율 다섯 칸으로 정리합니다. 이 표가 다음 분기의 기본값이 되고, 새 카테고리가 생겼을 때 어디서부터 시작할지 알려 줍니다.

한 번 정한 값을 영구히 쓰지는 않습니다. 상품 구성이나 배송 속도가 바뀌면 자연 작성 분포도 함께 움직입니다. 반기에 한 번 정도 분포를 다시 뽑아 기준값이 여전히 유효한지 확인하는 주기를 정해 두면 충분합니다.

기록에는 실패한 시도도 남깁니다. 어떤 시점이 효과가 없었는지를 적어 두지 않으면 담당자가 바뀔 때마다 같은 시도가 반복됩니다. 결과가 기대와 달랐던 실험이 오히려 다음 사람에게 시간을 아껴 주는 기록이 됩니다.