두 활동이 따로 돌면 무엇이 충돌하나

충돌 지점은 세 곳입니다.

첫째, 실험이 도는 중에 피로도 경보가 떠서 소재를 교체하면 실험군의 조건이 바뀝니다. 변경 요소를 하나로 한정해야 결과 차이의 원인을 특정할 수 있는데, 실험 도중 교체는 이 원칙을 정면으로 깹니다.

둘째, 피로도 대응으로 예산을 재배분하면 실험의 트래픽 분할 비율이 달라집니다. 구글 애즈는 분할 비율이 너무 작아 실험 쪽 트래픽이 부족한 것을 결과가 유의미하지 않게 나오는 원인 중 하나로 안내합니다.

셋째, 실험 종료 직후 승자 소재를 전면 적용하면서 동시에 피로도 교체까지 하면, 다음 주 성과 변화를 해석할 수 없게 됩니다.

4주 주기 안에 어떻게 배치하나

주차별로 역할을 고정합니다.

1주차는 기준선 확인입니다. 직전 4주 데이터를 요일별로 정리해 빈도, CTR, 훅 지표, CPM의 기준선을 갱신합니다. 이 주에는 새 실험을 시작하지 않습니다.

2주차는 실험 시작입니다. 사전에 정한 가설, 변경 요소, 최소 검출 가능 효과, 종료일과 판정일을 적고 시작합니다. 시작과 동시에 그 캠페인을 자동 규칙 대상에서 제외합니다.

3주차는 관찰입니다. 실험 대상 외 캠페인에 대해서만 피로도 경보를 처리합니다. 실험 캠페인은 진행률만 확인하고 승패는 보지 않습니다.

4주차는 판정과 조치입니다. 실험을 판정하고, 그 결과에 따라 소재 교체나 예산 조정을 실행합니다. 조치는 하나씩 넣고 로그에 시각을 남깁니다.

실험 중 소재 교체를 금지하는 구간은 어디까지인가

원칙은 실험 시작부터 판정일까지입니다. 판정일은 종료일과 다릅니다. 전환 지연 때문에 최근 며칠 데이터는 계속 채워지므로, 종료 후 일정 일수를 대기한 뒤 판정합니다.

구글 애즈 실험은 시작 후 처음 7일간의 데이터를 통계 계산에서 제외하므로, 실험 시작 주에는 피로도 판단도 함께 유보하는 편이 깔끔합니다. 어차피 그 주 데이터는 판정에 쓰이지 않습니다.

예외는 손실 한도입니다. 사전에 정한 손실 한도를 넘으면 실험을 중단하고 결과를 결론 없음으로 기록합니다. 이 경우 승패를 선언하지 않습니다.

자동화와 주기를 어떻게 맞추나

자동 규칙은 상시로 돌아갑니다. 메타 자동 규칙은 해제할 때까지 통상 30분마다 실행되고, 틱톡 자동 규칙도 지속 모드에서는 30분마다 실행됩니다. 주기 운영과 상시 자동화가 부딪히지 않게 하려면 적용 대상을 관리해야 합니다.

방법은 두 가지입니다. 첫째, 실험 캠페인에는 명명 규칙을 두고 자동 규칙의 적용 대상에서 빼둡니다. 둘째, 실험 기간에는 자동 조치를 알림으로 낮춥니다. 알림은 정보를 주지만 조건을 바꾸지 않습니다.

메타는 규칙 하나에 같은 종류의 조건을 하나만 넣을 수 있고 서로 다른 수준의 개체에 동시에 걸 수 없으므로, 실험용과 상시용 규칙을 애초에 분리해 두는 편이 관리하기 쉽습니다.

주간 회의에서 무엇을 보나

세 장이면 충분합니다.

첫 장은 기준선 표입니다. 매체별 감시 지표와 기준선, 이번 주 값, 이탈 여부가 들어갑니다. 둘째 장은 실험 대장입니다. 실험명, 대상 오디언스, 변경 요소, 시작일, 판정 예정일, 상태가 들어갑니다. 셋째 장은 조치 로그입니다. 경보 시각, 판단한 원인 축, 선택한 조치, 확인 예정일, 결과가 들어갑니다.

회의는 이 순서로 진행합니다. 기준선 이탈 확인, 실험 진행률 확인, 지난주 조치 결과 확인, 이번 주 조치 결정입니다. 세 문서 밖의 논의는 별도 안건으로 뺍니다.

이 주기를 팀 매뉴얼로 어떻게 고정하나

주기를 문서로 만들고 두 가지를 함께 적습니다. 하나는 예외 조건입니다. 대형 프로모션이나 시즌 피크처럼 주기를 지킬 수 없는 구간을 미리 지정하고, 그 기간에는 실험을 시작하지 않기로 정합니다. 외부 이벤트로 트래픽 패턴이 급변하면 결과가 오염되므로, 애초에 그 기간을 피하는 것이 재실험 비용보다 쌉니다.

다른 하나는 회고입니다. 분기 말에 지난 세 번의 주기를 돌아보며 잘 된 점, 개선이 필요했던 점, 다음 주기에 실행할 구체적 개선 방안을 정리합니다. 이 세 가지를 함께 기록하는 것이 회고의 표준 구성이며, 세 번째 항목이 있어야 주기가 실제로 개선됩니다.