크롤 버짓(크롤링 예산)이란? 색인 속도의 숨은 변수

결론부터 말하면 이렇다. 크롤 버짓(크롤링 예산)은 검색엔진 로봇이 내 사이트를 방문해 페이지를 읽어가는 데 쓰는 시간과 자원의 총량이다. 구글은 이 개념이 수만에서 수백만 페이지 규모의 대형 사이트에 주로 해당한다고 공식 문서에서 밝히지만, 그렇다고 일반 홈페이지가 완전히 무관한 것은 아니다.

새 글을 올렸는데 며칠씩 색인이 늦거나, 사이트가 빠르게 커지는 중이라면 이 개념을 알아 두는 편이 좋다. 크롤 버짓 자체가 순위를 올려 주지는 않지만, 로봇이 내 페이지를 얼마나 자주, 얼마나 빨리 발견하는지를 좌우하기 때문이다.

이 글은 크롤 버짓의 정의부터 우리 사이트도 신경 써야 하는지, robots.txt·사이트맵과 어떻게 연결되는지까지 두괄식으로 짧게 정리한다.

크롤 버짓, 정확히 무엇을 뜻할까?

크롤 버짓은 크롤 용량 한도와 크롤 필요성, 이 두 가지가 곱해진 값이다. 구글 공식 문서에 따르면 크롤 용량 한도는 서버가 감당할 수 있는 동시 연결 수를 뜻하고, 크롤 필요성은 로봇이 그 사이트를 얼마나 자주 다시 찾고 싶어 하는지를 뜻한다. 서버 응답이 느리거나 오류가 잦으면 한도가 줄고, 콘텐츠가 인기 있고 자주 바뀌면 필요성이 커진다.

구분	크롤 용량 한도	크롤 필요성
정의	로봇이 동시에 접속 가능한 최대치	로봇이 재방문하고 싶어 하는 정도
좌우 요인	서버 응답 속도, 오류율	인기도, 업데이트 빈도, 콘텐츠 품질
낮아지면	로봇이 방문 자체를 줄인다	로봇의 재방문 주기가 뜸해진다

두 값 중 하나만 커도 소용없다. 서버가 아무리 빨라도 콘텐츠가 안 바뀌면 로봇은 자주 오지 않고, 콘텐츠가 아무리 자주 바뀌어도 서버가 느리면 로봇이 다 못 읽고 돌아간다.

우리 홈페이지도 크롤 버짓을 신경 써야 할까?

대부분의 소규모 홈페이지는 크게 걱정할 필요가 없다. 구글은 이 개념이 페이지가 1만 개 이상이면서 매일 바뀌는 사이트, 또는 100만 개 이상 페이지 규모의 사이트에 주로 해당한다고 설명한다. 페이지 수십에서 수백 개인 일반 홈페이지라면 크롤 용량 자체가 부족해 새 글이 안 읽히는 경우는 드물다.

다만 두 경우는 예외다. 하나는 서치 콘솔에서 "발견됨 - 색인 미생성" 상태의 URL이 계속 쌓이는 경우이고, 다른 하나는 쇼핑몰처럼 상품 페이지가 빠르게 늘어나는 사이트다. 이럴 땐 서치 콘솔의 "설정 > 크롤링 통계" 보고서를 열어 서버 응답 시간과 일별 크롤링 요청 수 추이부터 확인해 보는 것이 먼저다.

robots.txt·사이트맵은 크롤 버짓과 어떻게 연결될까?

robots.txt는 크롤 버짓을 아끼는 도구이고, 사이트맵은 그 예산을 정확히 쓰게 안내하는 지도다. 관리자 페이지·장바구니·검색 결과 페이지처럼 색인될 필요가 없는 경로를 robots.txt로 막아 두면, 로봇이 그 시간을 진짜 중요한 페이지에 쓸 수 있다.

사이트맵은 반대로 꼭 크롤링해 줬으면 하는 URL 목록을 로봇에게 직접 건네는 역할을 한다. XML 사이트맵을 최신 상태로 유지하고 서치 콘솔에 제출해 두면, 새 글이 나왔을 때 로봇이 더 빨리 찾아올 확률이 높아진다.

robots.txt로 막았다고 검색에서 바로 사라지는 것은 아니다. 크롤링과 색인은 다른 개념이라, 이미 색인된 페이지를 robots.txt만으로 지우려 하면 오히려 색인이 오래 남는 부작용이 생길 수 있다.

크롤 버짓을 갉아먹는 흔한 실수는 무엇일까?

중복 콘텐츠, 소프트 404, 리다이렉트 체인, 그리고 최근에는 AI 학습용 크롤러 트래픽까지 대표적인 낭비 요인으로 꼽힌다. 같은 내용의 페이지가 URL만 다르게 여러 개 존재하면 로봇이 같은 내용을 반복해서 읽느라 시간을 쓴다. 페이지를 지웠는데 200 상태 코드로 "없는 페이지입니다"라고만 보여주는 소프트 404도 로봇을 혼란스럽게 만든다.

한 조사에 따르면 2026년 상반기 기준 전체 웹 트래픽의 절반 이상을 봇이 차지했고, 그중 GPTBot·ClaudeBot 같은 AI 학습용 크롤러의 비중도 빠르게 늘고 있다. AI 크롤러 robots.txt 설정법에서 다뤘듯, 원치 않는 AI 크롤러는 robots.txt로 개별 차단할 수 있으므로 서버 부담이 걱정된다면 점검해 둘 만하다.

크롤 버짓은 대부분의 홈페이지에서 당장 급한 문제는 아니지만, 사이트가 커지고 있거나 새 글의 색인이 유독 늦다면 한 번쯤 점검해 볼 가치가 있습니다. 이루웹은 SEO 최적화 홈페이지 제작을 하면서 robots.txt·사이트맵 설정까지 함께 점검해 드리고 있습니다. 이루웹의 서비스를 살펴보시고, 우리 사이트의 크롤링 상태가 궁금하시면 지금 상담을 신청해 주시기 바랍니다.