신규 사이트 크롤 버짓, 처음엔 왜 보수적일까요

결론부터 말하면 모든 신규 사이트는 같은 출발선에서 시작한다. 구글이 최근 크롤 버짓(크롤링 예산) 공식 문서를 갱신하면서, 새로 생긴 사이트는 예외 없이 동일한 보수적인 크롤 용량 한도에서부터 크롤링이 시작된다고 명시했다.

내 사이트만 유독 색인이 느린 게 아니라 구글이 원래 그렇게 설계했다는 뜻이다. 문제는 이 한도가 어떻게 정해지고, 언제 늘어나는지 아는 것이다.

크롤 버짓과 크롤 용량 한도는 뭐가 다른가요

크롤 버짓은 구글봇이 내 사이트에 쏟는 시간과 자원의 총량이고, 그 안에서 실제 상한선 역할을 하는 수치가 크롤 용량 한도다. 이번에 구글이 새로 밝힌 것도 바로 이 한도에 관한 내용이다.

기존에도 크롤 버짓 개념 자체는 있었지만, "모든 신규 사이트가 같은 기본값에서 시작한다"는 규칙이 문서에 명시된 것은 이번이 처음이다. 사이트 규모나 업종과 무관하게 동일한 조건에서 출발하므로, 오픈 초기에 색인이 더딘 것은 대개 정상적인 과정이다.

새로 만든 홈페이지가 며칠 안에 전 페이지 색인되지 않는다고 문제가 생긴 것은 아니다. 대부분은 이 보수적 한도 안에서 벌어지는 자연스러운 지연이다.

신규 사이트는 왜 처음부터 크롤링이 적게 되나요

구글이 서버 부담을 줄이면서 사이트의 안정성을 먼저 확인하려 하기 때문이다. 검증되지 않은 사이트에 처음부터 크롤러를 대거 투입하면 서버가 감당하지 못할 위험이 있어, 일단 보수적으로 접근한 뒤 상황을 보고 늘리는 방식을 택한 것이다.

이번 갱신에서 특히 눈여겨볼 점은 이 한도가 크롤러별이 아니라 사이트 전체에 공유된다는 사실이다. 일반 색인용 구글봇뿐 아니라 이미지·광고·AI 학습용 크롤러까지 같은 한도를 나눠 쓴다. 즉 한 크롤러의 수요가 몰리면 다른 크롤러가 쓸 수 있는 몫이 줄어들 수 있다는 뜻이다.

구분	이전 설명	이번 갱신
시작 조건	사이트별로 다르게 시작	모든 신규 사이트가 동일한 보수적 한도로 시작
한도 적용 범위	크롤러별 개별 설명 위주	모든 크롤러가 한도를 공유한다고 명시
한도 조정	자동 조정 언급은 있었음	수요와 사이트 상태에 따른 자동 조정을 재확인

크롤 용량 한도는 언제 어떻게 늘어나나요

사이트가 안정적으로 응답하면서 크롤링 수요가 계속 있을 때 구글 시스템이 자동으로 한도를 올린다. 서버가 느려지거나 오류가 잦으면 반대로 한도를 낮춰 부담을 줄인다.

한도를 끌어올리는 가장 직접적인 지렛대는 로딩 속도 개선이다. 서버 응답이 빠르고 에러 없이 안정적으로 페이지를 내려주는 사이트일수록, 같은 시간 안에 더 많은 페이지를 크롤링해도 부담이 없다고 판단하기 때문이다. 여기에 새 글이 꾸준히 올라오고 내부 링크로 페이지 간 연결이 촘촘할수록 크롤링 수요 자체도 늘어난다.

신규 사이트 운영자가 지금 할 수 있는 일은 무엇인가요

한도 자체를 임의로 늘릴 방법은 없지만, 한도 안에서 더 중요한 페이지부터 빨리 발견되게 하는 것은 가능하다.

1. 사이트맵 제출: 서치 콘솔에 사이트맵을 등록해 구글이 페이지 목록을 한 번에 파악하게 한다.
2. 서버 응답 속도 점검: 응답이 느리거나 5xx 오류가 잦으면 한도가 오히려 줄어들 수 있다.
3. 내부 링크 정비: 중요한 페이지일수록 다른 페이지에서 링크로 연결해 크롤러가 쉽게 도달하게 한다.
4. 불필요한 페이지 정리: 중복·저품질 페이지가 많으면 한정된 한도가 그쪽으로 새어 나간다.
5. 크롤링 통계 보고서 확인: 서치 콘솔에서 실제로 얼마나, 얼마나 자주 크롤링되는지 추이를 본다.

이 다섯 가지는 크롤 버짓의 기본 개념과도 이어진다. 보수적으로 시작하는 한도 자체보다, 그 한도를 얼마나 효율적으로 쓰느냐가 신규 사이트 노출 속도를 가른다.

크롤 버짓의 기본 개념이 더 궁금하시면 크롤 버짓이란 무엇인지 정리한 글을, 신규 사이트가 초기에 왜 노출이 더딘지 궁금하시면 구글 샌드박스 팩트체크 글을 참고해 보시기 바랍니다. 실제 크롤링 추이를 어떻게 읽는지는 서치 콘솔 크롤링 통계 보고서 가이드에 정리해 두었습니다.

새 홈페이지를 준비하고 계시다면 오픈 초기 크롤링·색인까지 고려한 구조 설계가 이후 노출 속도를 크게 좌우합니다. 이루웹의 홈페이지 제작 서비스에서는 이런 기술적 기반까지 함께 챙겨 드리고 있으니, 서비스 소개를 살펴보시거나 문의하기로 편하게 상담 요청해 주시기 바랍니다.