크롤링은 정확히 무엇을 하는 단계인가

구글의 크롤링(Crawling)은 구글봇(Googlebot)이라는 자동화 프로그램이 웹사이트를 방문해 텍스트, 이미지, 비디오를 발견하고 다운로드하는 과정입니다. 이 단계에서 구글봇은 페이지 안의 링크를 따라가며 새로운 URL을 계속 발견하는데, 이 발견 경로 자체가 끊기면 아무리 좋은 페이지를 만들어도 구글이 그 존재를 알 방법이 없습니다. 신규 페이지를 만들었을 때 사이트맵 제출이나 내부 링크 연결을 신경 써야 하는 이유가 여기 있습니다.

인덱싱은 크롤링과 어떻게 다른가

인덱싱(Indexing)은 크롤링된 페이지의 콘텐츠를 분석해 구글 데이터베이스에 저장하는 과정으로, 모든 크롤링된 페이지가 인덱싱되는 것은 아닙니다. 저품질 콘텐츠, robots 메타 태그로 인한 차단, 사이트 구조 문제 등의 이유로 크롤링은 됐지만 인덱싱에서 제외되는 페이지가 실무에서 흔하게 발생합니다. 즉 "구글이 내 페이지를 방문했다"는 사실과 "내 페이지가 검색결과에 나올 수 있다"는 사실은 별개의 문제이며, 이 둘을 구분하지 못하면 왜 특정 페이지만 검색에 안 잡히는지 원인을 엉뚱한 곳에서 찾게 됩니다.

랭킹은 이 두 단계와 어떤 관계에 있나

랭킹(Ranking)은 인덱싱된 방대한 페이지 중 특정 검색어와 관련성이 높고 품질이 좋은 페이지를 골라 순서를 매기는 마지막 단계입니다. 크롤링·인덱싱이 되지 않은 페이지는 애초에 랭킹 경쟁에 참여할 자격조차 없으므로, 콘텐츠 품질이나 키워드 전략을 고민하기 전에 크롤링·인덱싱 단계에서 막히는 게 없는지부터 확인하는 순서가 합리적입니다. 테크니컬 SEO가 콘텐츠 SEO보다 먼저 점검돼야 하는 이유이기도 합니다.

테크니컬 SEO는 왜 이 세 단계를 나눠서 접근해야 하나

세 단계가 순차적으로 이어지기 때문에, 앞 단계의 문제는 뒤 단계 전체에 영향을 줍니다. 예를 들어 robots.txt 설정 실수로 크롤링 자체가 막히면 아무리 콘텐츠가 훌륭해도 인덱싱·랭킹까지 갈 수 없고, 크롤링·인덱싱은 정상이어도 페이지 로딩 속도가 느리면 랭킹 단계에서 불리해집니다. 이후 강의(2강 robots.txt·sitemap, 3강 Core Web Vitals)에서 각 단계별 구체적 개선 작업을 다루는데, 지금 이 구조를 먼저 잡아두면 각 기술 요소가 세 단계 중 어디를 겨냥한 조치인지 헷갈리지 않습니다.

실무에서 세 단계 중 어디가 막혔는지 어떻게 확인하나

구글 서치 콘솔의 "URL 검사" 도구를 쓰면 특정 URL이 크롤링됐는지, 인덱싱됐는지, 인덱싱되지 않았다면 그 사유가 무엇인지 단계별로 확인할 수 있습니다. 신규 페이지가 검색에 안 잡힌다는 문의가 들어오면 막연히 콘텐츠를 다시 손보기 전에, 이 도구로 먼저 어느 단계에서 걸렸는지 확인하는 순서를 실무 루틴으로 잡아두는 편이 시간을 아낍니다. 8강에서 서치 콘솔의 커버리지 리포트를 더 깊이 다룹니다.

크롤링 예산 개념이 이 세 단계와 만나는 지점

사이트 규모가 커질수록 구글봇이 무한정 모든 페이지를 매번 다시 크롤링하지는 않습니다. 크롤링 예산(Crawl Budget)은 구글이 특정 웹사이트에서 크롤링할 수 있고 실제로 크롤링하고 싶어하는 URL 집합을 의미하며, 서버 응답 속도로 정해지는 크롤 용량(Crawl Capacity)과 사이트 크기·업데이트 빈도·콘텐츠 인기도로 정해지는 크롤 수요(Crawl Demand) 두 요소로 구성됩니다. 상품 수가 많은 이커머스몰이나 게시글이 계속 쌓이는 커뮤니티형 사이트라면, 크롤링 예산이 한정된 자원이라는 전제를 깔고 어떤 페이지에 그 예산을 우선 쓰게 할지 설계하는 것도 테크니컬 SEO의 일부입니다.

세 단계를 나눠 보는 습관이 트러블슈팅에 주는 실익

검색 트래픽이 갑자기 줄었을 때 "콘텐츠가 문제인가, 기술적 문제인가"를 구분하지 못하면 원인 파악이 산으로 갑니다. 크롤링·인덱싱 단계에 이상이 없는데 랭킹만 떨어졌다면 콘텐츠 품질이나 경쟁 강도의 문제일 가능성이 크고, 반대로 특정 페이지군이 통째로 인덱싱에서 빠졌다면 사이트 구조나 서버 설정 쪽을 봐야 합니다. 이 세 단계 구분을 팀 내에서 공유해두면, 트래픽 하락 보고가 올라왔을 때 콘텐츠팀과 개발팀 중 어느 쪽이 먼저 확인해야 할지가 바로 정리됩니다.

새 페이지를 발행할 때마다 확인할 최소 체크

페이지를 새로 발행했다면 곧바로 세 가지만 확인해도 이후 문제의 절반은 예방됩니다. 첫째, 그 페이지로 이어지는 내부 링크가 최소 한 곳 이상 있는지(크롤링 발견 경로), 둘째, robots 메타 태그나 robots.txt에서 실수로 차단하고 있지는 않은지(인덱싱 자격), 셋째, 사이트맵에 해당 URL이 반영돼 있는지(크롤링 우선순위 신호)입니다. 이 세 가지는 전부 무료로, 별도 도구 없이 코드 몇 줄과 서치 콘솔 확인만으로 점검할 수 있는데도 실무에서 가장 자주 빠뜨리는 지점입니다.