클라우드플레어 AI 봇 차단, 9월 15일 시행 확정

결론부터 말하면 이렇다. 클라우드플레어가 2026년 9월 15일부터 AI 학습·에이전트 크롤러를 기본 차단하는 새 정책을 시행한다. 다만 모든 사이트가 대상은 아니다. 새로 만드는 도메인과 무료 요금제 사용자에게 적용되며, 기존 유료 고객은 직접 설정을 바꾸지 않는 한 지금 상태가 그대로 유지된다.

앞서 8월 11일에는 이 정책 때문에 구글봇까지 함께 막힐 수 있다는 우려가 제기됐다. 이번엔 그 우려 단계를 지나 실제 시행일과 적용 대상이 확정됐다는 점이 다르다. 클라우드플레어를 쓰는 사이트 운영자라면 지금 대시보드에서 무엇을 확인해야 하는지가 핵심이다.

정확히 무엇이 바뀌나?

클라우드플레어는 크롤러를 검색(Search)·에이전트(Agent)·학습(Training) 세 유형으로 나누고, 광고가 붙은 페이지 기준으로 각기 다른 기본값을 적용한다. 검색용 크롤러는 기본 허용, 실시간으로 움직이는 에이전트 봇과 모델 학습용 크롤러는 기본 차단이다.

크롤러 유형	하는 일	9월 15일 새 기본값
검색(Search)	검색 결과 노출을 위한 색인	허용
에이전트(Agent)	사용자 대신 실시간으로 움직이는 봇	차단
학습(Training)	모델 학습용 콘텐츠 수집	차단

클라우드플레어 최고경영자 매튜 프린스는 "인터넷 트래픽 대부분이 이제 비인간(봇) 트래픽이 된 만큼, 더 나아가 더 빠르게 움직여야 한다"고 이번 정책의 배경을 설명했다. 콘텐츠를 무단으로 학습에 쓰지 못하게 막고, 대신 페이 퍼 크롤(Pay Per Crawl) 같은 유료 이용 체계로 유도하겠다는 방향이다.

내 사이트도 이번에 적용되나?

새로 만드는 도메인과 무료 요금제 사용자는 9월 15일부터 이 기본값이 자동 적용된다. 반면 기존 유료 요금제 고객은 지금 설정이 그대로 유지되며, 원한다면 직접 새 기본값으로 바꿀 수 있는 선택지만 주어진다.

즉 "모든 사이트가 갑자기 막힌다"가 아니라 "새 사이트부터 기준이 바뀐다"가 정확한 설명이다. 지금 운영 중인 사이트가 클라우드플레어 유료 요금제라면 당장 급하게 대응할 필요는 없지만, 무료 요금제라면 시행일 전에 반드시 설정을 확인해야 한다.

기존 고객이라도 방치하면 안 되는 이유가 있다. 클라우드플레어는 사전 안내를 하겠다고 밝혔지만, 알림을 놓치고 지나가는 경우도 흔하다. 지금 미리 봐 두는 편이 안전하다.

지금 무엇을 점검해야 하나?

클라우드플레어 대시보드의 보안(Security) 메뉴에서 AI 크롤러 및 스크레이퍼 항목을 열어 검색·에이전트·학습 세 카테고리가 각각 어떻게 설정돼 있는지부터 확인한다. 확인할 항목은 아래와 같다.

• 요금제 확인: 무료 요금제인지 유료 요금제인지에 따라 9월 15일 적용 여부가 달라진다.
• 크롤러 카테고리별 설정: 검색·에이전트·학습 각각을 허용할지 차단할지 직접 정할 수 있다. 일괄 차단보다 유형별로 판단하는 편이 좋다.
• 화이트리스트가 필요한 크롤러: AI 검색 유입을 원한다면 특정 크롤러만 예외로 허용하는 규칙을 따로 만들어 둔다.
• 학습 차단을 켤 계획이라면 구글봇 영향 확인: 구글봇처럼 검색과 학습을 동시에 수행하는 혼합형 크롤러는 학습 차단 시 함께 막힐 수 있다. 이 부분은 클라우드플레어 AI 크롤러 정책, 구글봇까지 막힐 수 있다 글에 더 자세히 정리해 두었다.

체크가 끝났다면 구글 서치 콘솔의 URL 검사 도구로 주요 페이지를 검사해 403 오류 없이 정상 색인되는지 한 번 더 확인하는 것이 좋다.

무조건 다 막는 게 능사일까?

아니다. 학습·에이전트 크롤러를 무조건 다 막기보다, 어떤 트래픽을 원하는지 먼저 정하는 편이 실속 있다. 챗지피티나 퍼플렉시티 같은 AI 검색 서비스를 통해 유입되는 트래픽을 원한다면, 해당 서비스의 크롤러는 예외로 허용해 둬야 한다.

콘텐츠를 지키는 것과 AI 검색 유입을 포기하는 것은 다른 문제다. 최근에는 크롤링 대가를 받을 수 있는 페이 퍼 크롤 같은 유료 이용 체계도 넓어지는 추세라, 무작정 차단하기보다 어떤 크롤러에 어떤 조건을 적용할지 카테고리별로 판단하는 것이 실무적으로 더 낫다. 광고 매출이 있는 페이지와 그렇지 않은 페이지의 기본값이 다르게 적용된다는 점도 함께 감안해 설정하면 된다.

특정 크롤러 이름을 지정해 robots.txt 수준에서 세밀하게 제어하고 싶다면 AI 크롤러 robots.txt 설정법 글을, 서치 콘솔 점검 방법 전반은 구글 서치 콘솔 사용법 글을 참고하면 된다.

클라우드플레어 설정 점검을 포함해 사이트의 크롤링·색인 상태를 직접 챙기기가 부담스러우시다면, 이루웹의 검색엔진최적화 서비스에서 함께 확인해 드리고 있습니다. 궁금한 점은 문의 남겨 주시면 안내해 드리겠습니다.