본문 바로가기
이루웹

메타 로봇 noindex·nofollow 태그, 제대로 쓰는 법

robots.txt와 다른 페이지 단위 색인 차단법, noindex·nofollow 문법과 실전 예시(중복 페이지·검색결과 페이지)로 정리했습니다.

이루웹6분 분량

결론부터 말하면 이렇다. 메타 로봇(robots) 태그는 특정 페이지 하나를 검색 결과에서 빼거나, 그 페이지 안의 링크를 따라가지 말라고 지시하는 페이지 단위 태그다. 사이트 전체나 특정 경로의 방문 자체를 막는 robots.txt와는 다루는 층위가 완전히 다르다. 이 둘을 같은 것으로 착각하면 원하는 결과를 얻지 못한다.

이 글은 noindex와 nofollow가 각각 무엇을 하는 태그인지, 언제 어떤 것을 써야 하는지 실전 예시로 짧게 정리한다.

메타 로봇 noindex·nofollow 태그 사용법을 보여주는 카드뉴스 썸네일
메타 로봇 태그는 크롤링이 아니라 색인(검색 등록) 여부를 결정하는 페이지 단위 지시자다.

meta robots와 robots.txt는 뭐가 다른가?

robots.txt는 크롤링(방문) 여부를, 메타 로봇 태그는 색인(검색 등록) 여부를 결정한다. 역할이 겹치지 않는 별개의 도구다.

구분 역할 위치
robots.txt 이 경로를 방문해도 되는가 도메인 루트 텍스트 파일
메타 로봇 태그(noindex) 이 페이지를 검색 목록에 올려도 되는가 각 페이지 <head>

가장 흔한 실수는 이미 robots.txt로 막아 둔 경로에 noindex를 또 넣는 것이다. 구글은 방문 자체가 막힌 페이지의 <head>를 읽지 못하므로 noindex를 볼 기회조차 없다. noindex를 쓰려면 그 경로는 반드시 크롤링을 열어 둬야 한다는 점을 robots.txt 문법과 흔한 실수에서 함께 확인하면 좋다.

noindex는 어떻게 쓰고 언제 필요한가?

noindex는 페이지 <head>에 <meta name="robots" content="noindex"> 한 줄만 넣으면 된다. PDF·이미지처럼 HTML이 아닌 파일에는 같은 역할을 하는 X-Robots-Tag: noindex HTTP 응답 헤더를 서버 설정에서 추가한다.

상황 처리
나쁜 예 태그·필터 조합으로 생긴 중복 페이지를 그대로 색인 허용
좋은 예 해당 페이지에 noindex를 넣어 검색 결과에서 제외

noindex를 붙이면 유리한 대표 상황 네 가지는 다음과 같다. 정렬·필터가 붙어 본문 내용이 똑같이 중복되는 페이지, 게시물이 몇 개 없는 얇은 태그·카테고리 아카이브 페이지, 사이트 내부 검색 결과 페이지, 신청 완료 뒤에만 잠깐 뜨는 감사 페이지다. 반대로 상품·서비스 소개처럼 매출과 직결되는 페이지에는 절대 실수로 넣지 않도록 주의해야 한다.

noindex를 넣은 페이지도 링크는 계속 따라갈 수 있게 하고 싶다면 content="noindex, follow"처럼 값을 함께 써 준다. 아무 값도 안 쓰면 follow가 기본값이라 생략해도 무방하다.

noindex를 넣었다고 그 즉시 검색 결과에서 빠지지는 않는다. 구글이 그 페이지를 다시 크롤링해 태그를 읽어야 반영되며, 보통 며칠에서 몇 주까지 걸린다. 빠른 반영이 필요하면 서치 콘솔에서 재크롤링을 요청할 수 있다.

robots.txt·메타 로봇 noindex·rel=nofollow의 적용 범위를 사이트 경로·페이지·링크 단위로 비교한 인포그래픽
넓은 범위부터 좁은 범위 순으로 robots.txt(경로) → 메타 로봇 noindex(페이지) → rel="nofollow"(링크) 순서다.

nofollow는 페이지 링크 전체와 개별 링크, 뭐가 다른가?

둘은 적용 범위가 완전히 다르다. <meta name="robots" content="nofollow">는 그 페이지 안의 모든 링크를 따라가지 말라는 지시이고, 개별 태그 <a href="..." rel="nofollow">는 그 링크 하나에만 적용된다. 광고성 아웃링크나 신뢰하기 어려운 외부 링크 하나만 걸러내고 싶다면 페이지 전체가 아니라 해당 <a> 태그에 rel="nofollow"를 붙이는 것이 맞다.

구글은 2020년 3월부터 nofollow·sponsored·ugc 세 속성을 모두 절대 규칙이 아닌 "힌트"로 취급한다고 공식 발표했다. 즉 nofollow를 붙여도 구글이 상황에 따라 참고용 신호로만 쓸 수 있다는 뜻이다. 이때 함께 도입된 rel="sponsored"는 광고·협찬 링크, rel="ugc"는 댓글·후기처럼 사용자가 직접 작성한 콘텐츠 속 링크에 쓰도록 구분되었다.

광고 배너나 협찬 콘텐츠의 아웃링크는 rel="sponsored"를 우선 쓰고, 이용자가 남긴 댓글 속 링크는 rel="ugc"를 쓰는 것이 지금 기준의 정확한 표기다.

여러 검색엔진에 각각 다른 규칙을 줄 수 있나?

그렇다. name="robots" 대신 name="googlebot"처럼 특정 로봇 이름을 지정하면 그 로봇에만 규칙이 적용된다. 예를 들어 일반 검색 결과에는 노출하되 뉴스 결과에서만 빼고 싶다면 아래처럼 나눠 쓸 수 있다.

<meta name="robots" content="index, follow">
<meta name="googlebot-news" content="noindex">

값은 대소문자를 구분하지 않으며, 쉼표로 여러 규칙을 한 줄에 함께 적어도 된다. 어떤 경로가 실제로 색인에서 빠졌는지는 구글 서치 콘솔의 색인 생성 보고서에서 직접 확인하는 것이 가장 정확하다.

메타 로봇 태그처럼 페이지 하나하나의 세부 설정은 사이트 구조가 탄탄해야 관리가 흐트러지지 않습니다. 이루웹은 홈페이지 제작 단계부터 이런 색인 관리까지 함께 설계해 드리고 있습니다. 저희 서비스 전반이 궁금하시면 문의 남겨 주시기 바랍니다.

검색되는 사이트가 필요하신가요?

이 글의 원칙을 그대로 적용해 사이트를 만듭니다. 상담은 무료입니다.

무료 상담 신청

함께 보면 좋은 글

전체 보기