미국 국세청 사이트, 과도한 봇 차단으로 검색 순위 급락했다

결론부터 말하면 이렇다. 미국 국세청(IRS) 홈페이지가 2026년 8월 말 구글 검색에서 갑자기 순위가 급락한 원인은 콘텐츠 문제가 아니라 과도한 봇 차단 설정이었다. 검색엔진 로봇을 막으려던 방화벽 조치가 구글봇까지 함께 막아버린 것이다.

에스이라운드테이블(Search Engine Roundtable)과 SEO 전문가 릴리 레이(Lily Ray)가 시스트릭스(Sistrix) 순위 데이터로 확인한 사례다. 불과 하루 이틀 만에 1위였던 페이지들이 검색결과에서 아예 사라지거나 순위 밖으로 밀려났다. 규모가 큰 정부 사이트라 해도 봇 차단 설정 하나로 이런 일이 벌어질 수 있다는 걸 보여준 사례다.

IRS 사이트에 정확히 무슨 일이 있었나?

2026년 8월 26일에서 27일 사이, IRS.gov의 여러 페이지가 구글 검색결과에서 동시에 사라졌다. "stimulus(재난지원금)", "identity theft protection(신원도용 보호)", "free tax filing(무료 세금 신고)", "tax brackets(세율 구간)" 같은 검색량 큰 키워드에서 한 달 전만 해도 1위였던 페이지들이 순위 밖으로 밀려났다.

증상도 뚜렷했다. 검색결과에 파비콘이 깨져서 표시되고, 페이지 설명(스니펫)이 아예 뜨지 않았으며, PDF 문서들까지 검색에서 함께 사라졌다. 구글이 페이지에 접근은 하되 콘텐츠와 메타데이터를 제대로 읽지 못하는 전형적인 증상이었다.

원인이 왜 봇 차단으로 지목됐나?

전문가들은 연방정부 사이트가 새로 적용한 과도하게 공격적인 봇 차단 규칙을 원인으로 지목했다. 특정 크롤러나 자동화 트래픽을 막으려던 방화벽·CDN 설정이 의도치 않게 구글봇의 정상적인 접근까지 함께 걸러낸 것으로 보인다는 분석이다.

이런 방식의 오류는 드물지 않다. robots.txt 한 줄을 잘못 쓰거나, 방화벽에서 User-Agent·IP 대역을 통째로 차단하면 구글봇도 똑같이 걸린다. 구글 입장에서는 사이트가 일부러 접근을 막은 것과 구분이 안 되므로, 이미 색인된 페이지라도 순위와 스니펫이 함께 무너질 수 있다. 다행히 IRS 사이트는 8월 28일 아침 무렵 정상 상태로 복구된 것으로 확인됐다.

봇 차단은 나쁜 트래픽만 골라 막아야 한다. 구글봇까지 함께 막히면 순위 하락은 콘텐츠를 아무리 잘 써도 되돌릴 수 없다.

내 사이트도 이런 실수를 하고 있는지 어떻게 확인하나?

가장 빠른 방법은 구글 서치 콘솔의 크롤링 통계 보고서를 열어보는 것이다. 최근 크롤링 요청 수가 갑자기 줄었거나 응답 코드에 403·429 같은 차단 신호가 늘었다면 방화벽 설정을 의심해야 한다.

• robots.txt 파일에 Disallow: /처럼 전체 차단 줄이 실수로 남아 있는지 확인한다.
• 방화벽·CDN(클라우드플레어 등) 봇 차단 규칙에서 구글봇 User-Agent나 IP 대역이 걸리지 않는지 점검한다.
• 서치 콘솔 URL 검사 도구로 주요 페이지를 직접 검사해 "크롤링 허용" 상태인지 본다.
• 최근 배포에서 방화벽 규칙이나 봇 차단 서비스를 새로 켜거나 강화한 이력이 있는지 확인한다.
• 검색 트래픽이 급감한 날짜와 방화벽·CDN 설정 변경 날짜를 대조해 시점이 겹치는지 살펴본다.

이 네 가지를 순서대로 확인하면 대부분의 경우 원인이 콘텐츠가 아니라 접근 차단에 있다는 것이 금방 드러난다. 순위가 떨어진 날과 설정을 바꾼 날이 겹친다면 범인은 거의 항상 그 설정이다.

특히 클라우드플레어 같은 CDN의 AI 크롤러 차단 정책은 설정 범위를 넓게 잡으면 구글봇까지 함께 막는 경우가 실제로 보고된 바 있다. AI봇을 막으려다 정작 검색 노출까지 잃는 셈이라 설정 전 반드시 예외 목록을 확인해야 한다.

봇 차단 설정, 앞으로 어떻게 해야 안전한가?

차단은 필요한 범위만 정확히, 검색엔진 공식 크롤러는 항상 예외로 두는 것이 원칙이다. robots.txt와 방화벽 규칙을 함께 운영한다면 두 설정이 서로 충돌하지 않는지 정기적으로 교차 점검해야 한다.

특히 새 방화벽 규칙이나 봇 차단 서비스를 켤 때는 적용 전 스테이징 환경에서 구글봇 User-Agent로 접근 테스트를 해보는 편이 안전하다. 배포 직후에는 서치 콘솔 크롤링 통계를 하루 이틀 지켜보면서 요청 수와 응답 코드 변화를 확인하면 이번 IRS 사례 같은 일을 미리 막을 수 있다.

정부 사이트처럼 방문자가 많고 신뢰가 중요한 곳일수록 스팸·자동화 트래픽을 걸러내려는 유혹이 크다. 하지만 차단 규칙은 늘 좁게 시작해서 필요할 때만 넓히는 쪽이 안전하다. 한번 순위와 스니펫이 사라지면 원인을 찾아 복구해도 검색 노출이 예전 수준으로 돌아오기까지 다시 시간이 걸린다.

우리 사이트의 방화벽·크롤링 설정이 구글봇 접근을 막고 있지는 않은지 점검이 필요하시다면 이루웹에 문의해 주세요. 검색엔진최적화 컨설팅과 홈페이지 제작을 통해 크롤링·색인 구조까지 함께 점검해 드리고 있습니다. 무료 상담으로 편하게 문의해 주시기 바랍니다.