클라우드플레어 AI 크롤러 정책, 구글봇까지 막힐 수 있다

결론부터 말하면 이렇다. 클라우드플레어가 2026년 9월 15일부터 새 도메인에 적용하는 AI 크롤러 차단 기본값에서, "AI 학습(Training) 차단"을 켜면 구글봇도 함께 막힐 수 있다. 구글봇이 검색 색인과 AI 학습을 동시에 수행하는 혼합형(다목적) 크롤러로 분류되기 때문이다. 클라우드플레어를 쓰는 사이트라면 지금 대시보드를 한 번 열어 봐야 하는 이유다.

이미 실제 사례도 보고됐다. 검색엔진저널은 클라우드플레어의 AI 봇 차단 기능을 켠 사이트에서 구글봇과 빙봇이 사이트맵 접근 시 403 오류를 받았다는 사례를 전했다. 광고가 붙은 페이지에서 학습용 봇을 막으려다 검색 색인 자체가 끊긴 셈이다.

무엇이, 언제 바뀌나?

클라우드플레어는 2025년 7월 "AI 봇 차단" 원클릭 기능을 처음 내놓았고, 2026년 7월부터는 크롤러를 목적별로 나눠 통제하는 세분화된 정책으로 바꿨다. 그리고 2026년 9월 15일부터는 새로 생성되는 도메인에 새 기본값이 적용된다.

새 기본값은 크롤러를 세 유형으로 나눈다.

유형	의미	새 도메인 기본값(광고 페이지)
검색(Search)	검색 결과 노출을 위한 색인용	허용
에이전트(Agent)	사용자 대신 실시간으로 움직이는 봇(챗GPT 브라우징 등)	차단
학습(Training)	모델 학습을 위한 콘텐츠 수집	차단

기존 도메인은 설정을 바꾸지 않는 한 지금 상태가 그대로 유지되고, 9월 15일 전까지는 이 새 기본값 적용 여부를 직접 선택(옵트아웃)할 수 있다.

이런 변화의 배경은 명확하다. 그동안 AI 기업들이 별다른 대가 없이 웹사이트 콘텐츠를 대량으로 긁어가 모델 학습에 써 왔다는 문제 제기가 이어졌고, 클라우드플레어는 이번 정책과 함께 콘텐츠 이용에 대한 대가를 요구할 수 있는 페이 퍼 크롤(Pay Per Crawl) 유료 옵션도 함께 넓히고 있다. 콘텐츠를 지키려는 방향 자체는 합리적이지만, 그 과정에서 검색 노출까지 함께 끊기지 않도록 세부 설정을 챙기는 것이 이번 정책의 실무 핵심이다.

왜 구글봇까지 걸리나?

이유는 간단하다. 구글봇, 빙봇, 애플봇처럼 검색과 학습을 동시에 수행하는 크롤러는 클라우드플레어 분류상 "검색+학습" 혼합형에 속한다. 그리고 혼합형 크롤러에는 여러 규칙 중 가장 제한적인 규칙이 적용된다.

즉 계정에서 "학습 차단"을 켜 두면, 검색 전용 규칙과는 별개로 학습 차단 규칙이 함께 걸려 구글봇도 막힌다. 구글을 겨냥한 조치가 아니라 분류 방식의 부작용이라는 점이 핵심이다.

클라우드플레어 공식 문서도 "검색과 학습을 겸하는 혼합형 크롤러는 학습 차단을 설정한 모든 구성에서 함께 차단된다"고 명시하고 있다.

내 사이트는 안전한지 어떻게 확인하나?

클라우드플레어 대시보드에서 보안(Security) → AI 크롤러 및 스크레이퍼 메뉴로 들어가 구글봇·빙봇이 차단 목록에 있는지부터 확인한다. 목록에 있다면 학습 차단이 검색용 봇까지 함께 잡고 있다는 뜻이다.

이어서 구글 서치 콘솔의 URL 검사 도구로 사이트맵과 주요 페이지를 검사해 본다. 403 응답이 나오면 실제로 색인 단계에서 문제가 생기고 있다는 신호다. 봇 파이트 모드(Bot Fight Mode)를 함께 켜 둔 경우 이 옵션이 원인일 수도 있으니 끄고 재확인하는 편이 좋다.

확실한 우회가 필요하다면, 구글이 공개한 구글봇 IP 대역을 확인해 학습 차단 여부와 무관하게 해당 IP를 허용하는 규칙을 별도로 만들어 두는 방법도 있다.

9월 15일 이전까지는 새 기본값 적용 여부를 직접 정할 수 있으므로, 서두르지 말고 지금 설정을 점검한 뒤 필요하면 옵트아웃 버튼을 눌러 전환 시점을 스스로 관리하는 것이 안전하다. 학습 차단 자체는 콘텐츠를 지키려는 합리적인 선택이지만, 검색 노출까지 함께 끊기면 손해가 더 크다.

AI 크롤러를 이름별로 세밀하게 제어하는 robots.txt 설정법은 AI 크롤러 robots.txt 설정법 글에, 구글 서치 콘솔로 색인 상태를 확인하는 방법은 구글 서치 콘솔 사용법 글에 정리해 두었다.

클라우드플레어 설정을 포함해 사이트의 크롤링·색인 상태를 직접 점검하기가 부담스러우시다면, 이루웹의 검색엔진최적화 서비스에서 함께 살펴봐 드리고 있습니다. 이루웹의 다른 서비스도 확인해 보시고, 궁금하신 점은 언제든 문의 남겨 주시기 바랍니다.