구글, 내부 검색결과 페이지 차단 규정 폐지했다

결론부터 말하면 이렇다. 구글이 2007년부터 웹마스터 가이드라인에 명시해 온 "사이트 내부 검색결과 페이지는 noindex로 차단하라"는 규정을 공식적으로 삭제했다. 존 뮬러가 2026년 7월 31일 공개된 서치 오프 더 레코드 팟캐스트 113회에서 이를 확인했다. 다만 규정이 사라졌다고 지금 당장 내부 검색 페이지의 차단을 풀어도 된다는 뜻은 아니다.

이 글은 왜 규정이 사라졌는지, 그런데도 왜 여전히 막아야 하는지, 실무에서는 무엇을 어떻게 설정해야 하는지를 짧게 정리한다.

왜 규정을 없앴을까?

정책 위반이 아니라 순수 기술적 이유 때문이었다는 게 핵심이다. 뮬러는 팟캐스트에서 이제 Search Essentials(구글 검색 필수 가이드라인)에 내부 검색결과 페이지 차단이 별도로 명시되지 않는다고 밝혔다. 예전에는 이런 페이지를 자동생성 콘텐츠나 "무한한 공간(infinite space)"으로 간주해 정책 차원에서 차단을 요구했지만, 지금은 이를 정책 위반으로 보지 않는다는 것이다.

그렇다고 구글이 태도를 완전히 뒤집은 것은 아니다. 뮬러는 "스팸이라고 판단하지는 않지만, 여전히 매우 비효율적"이라고 덧붙였다. 정책상 의무는 풀렸지만, 기술적으로는 여전히 권장 사항으로 남은 셈이다.

가이드라인에서 빠졌다는 것은 "위반이 아니다"라는 뜻이지 "막을 필요가 없다"는 뜻은 아니다. 구글 공식 문서(Block Search Indexing with noindex)에도 내부 검색 페이지에 대한 별도 지침은 현재 남아 있지 않다.

그런데도 왜 여전히 막아야 할까?

두 가지 실질적인 이유 때문이다. 하나는 크롤 예산(검색엔진 로봇이 한 사이트를 방문하는 데 쓰는 시간·자원) 낭비, 다른 하나는 보안 위험이다.

이유	내용
무한 크롤 공간	검색어 조합만으로 수억 개의 URL이 만들어져 크롤 예산과 서버 부하를 낭비한다
스팸 벡터 위험	사이트가 해킹되면 카지노·의약품·성인 콘텐츠 관련 검색어가 내부 검색 페이지에 노출돼, 사이트 전체가 "해킹됨"으로 표시될 수 있다

특히 두 번째 이유는 규모가 작은 사이트일수록 더 위험하다. 내부 검색 페이지는 누구나 원하는 검색어로 URL을 만들 수 있는 구조라, 악의적인 검색어가 그대로 색인에 실릴 수 있다. 실제 콘텐츠 문제가 아니라 구조적 허점 때문에 사이트 신뢰도가 흔들리는 경우다.

실무에서는 어떻게 설정해야 할까?

robots.txt로 넓게 차단하거나, noindex 메타 태그로 처리하는 두 방법 중 하나면 충분하다. 구글이 제시한 권장 방식은 다음과 같다.

• robots.txt 차단(권장): /search/?처럼 검색결과 경로 전체를 막는 광범위 규칙을 쓴다. 크롤러가 애초에 방문하지 않으므로 크롤 예산 낭비를 원천 차단한다.
• noindex 태그(대안): robots.txt 차단이 어려운 구조라면 페이지에 noindex 태그를 넣는다. 다만 이 경우 크롤러가 한 번은 방문한 뒤에야 차단이 반영된다.

구글은 서치 콘솔의 URL 제거 도구나 500 에러 코드로 내부 검색 페이지를 처리하는 방식은 명시적으로 권장하지 않는다고 밝혔다. 제거 도구는 임시 조치일 뿐이고, 에러 코드는 실제 오류와 혼동을 준다.

robots.txt 규칙을 처음 짜 본다면 robots.txt란 글에 문법과 흔한 실수를 정리해 두었고, noindex와 nofollow의 차이는 메타 로봇 태그 가이드에서 다뤘다. 크롤 예산 자체가 낯설다면 크롤 버짓이란 글을 먼저 보는 편이 이해가 빠르다.

지금 내 사이트는 무엇을 점검해야 할까?

세 가지만 확인하면 된다. 첫째, 내부 검색 페이지 URL 패턴(보통 ?s=, /search?q= 형태)이 robots.txt나 noindex로 차단돼 있는지 확인한다. 둘째, site:내도메인.com 검색처럼 검색해 내부 검색 페이지가 실제로 색인돼 있는지 살펴본다. 셋째, 이미 색인된 페이지가 있다면 급하게 제거 도구를 쓰기보다 robots.txt와 noindex를 함께 정비하고 시간을 두고 지켜본다.

규정이 사라졌다고 실무 대응까지 바꿀 이유는 없다. 여전히 막는 쪽이 크롤 예산과 보안 양쪽에서 안전하다.

내부 검색 페이지 하나까지 직접 점검하기 번거로우실 수 있습니다. robots.txt·noindex 설정부터 사이트 구조 전반까지 이루웹이 홈페이지 제작 상담으로 함께 살펴봐 드리고 있습니다. 이루웹의 다른 서비스도 살펴보시고, 궁금하신 점은 문의 남겨 주시기 바랍니다.