SEO

Noindex

Noindex는 특정 페이지를 검색 색인에서 제외하라고 검색엔진에 지시하는 규칙입니다. HTML <head>의 meta robots 태그 또는 HTTP 응답의 X-Robots-Tag 헤더로 적용하며, 적용된 페이지는 외부 링크가 있어도 검색 결과에서 제외됩니다.

Noindex는 해당 페이지를 검색 색인에서 빼라고 검색엔진에 전달하는 지시입니다.
적용 방식은 두 가지로, HTML <head> 안의 meta robots 태그와 HTTP 응답의 X-Robots-Tag 헤더가 있습니다.
HTML이 아닌 PDF·이미지·동영상 같은 리소스에는 X-Robots-Tag 헤더를 사용합니다.
가장 흔한 실수는 robots.txt로 페이지를 차단하는 것으로, 크롤러가 페이지에 접근하지 못하면 noindex 지시 자체를 읽지 못합니다.

Noindex 개요

Noindex는 검색엔진에게 해당 페이지를 검색 색인에서 제외하라고 알리는 규칙입니다. Googlebot이 이 지시를 인식하면 외부에서 그 페이지로 향하는 링크가 있더라도 페이지를 검색 결과에서 완전히 제외합니다. 로그인 페이지, 내부 검색 결과 페이지, 중복 콘텐츠, 감사 페이지처럼 색인될 필요가 없는 페이지를 제어할 때 사용합니다.

적용 방법은 두 가지입니다. 하나는 페이지 <head>에 meta robots 태그를 넣는 방식이고, 다른 하나는 서버가 응답할 때 X-Robots-Tag HTTP 헤더를 내려보내는 방식입니다. Google은 robots meta 태그에 쓸 수 있는 규칙은 X-Robots-Tag로도 동일하게 지정할 수 있다고 명시합니다.

적용 방법

meta robots 태그

모든 noindex 지원 검색엔진을 대상으로 하려면 페이지 <head>에 다음 태그를 넣습니다.

<meta name="robots" content="noindex">

Google 크롤러만 대상으로 하려면 name 값을 googlebot으로 지정합니다.

<meta name="googlebot" content="noindex">

색인 제외와 링크 미추적을 함께 지정하려면 규칙을 결합합니다.

<meta name="robots" content="noindex, nofollow">

X-Robots-Tag HTTP 헤더

PDF, 이미지, 동영상처럼 HTML이 아닌 리소스는 <head>에 태그를 넣을 수 없으므로 응답 헤더로 지정합니다.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Apache에서는 특정 확장자 응답에 헤더를 붙이도록 설정합니다.

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Nginx에서는 다음과 같이 설정합니다.

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

흔한 실수

가장 잦은 실수는 noindex 처리하려는 페이지를 robots.txt로 함께 차단하는 것입니다. Google은 noindex 규칙이 효과를 가지려면 해당 페이지나 리소스가 robots.txt로 차단되어 있지 않고 크롤러가 접근할 수 있어야 한다고 명시합니다. robots.txt로 차단하면 크롤러가 페이지를 가져오지 못하므로 안에 들어 있는 noindex 지시 자체를 읽지 못하고, 그 결과 외부 링크를 통해 페이지가 검색 결과에 여전히 노출될 수 있습니다.

따라서 페이지를 색인에서 빼고 싶다면 robots.txt로 막지 말고 크롤링은 허용하되 noindex 지시만 전달해야 합니다. 적용 후에는 Search Console의 URL 검사 도구로 Googlebot이 noindex 규칙을 실제로 인식하는지 확인하고, 페이지 색인 생성 보고서로 추출된 noindex 상태를 점검할 수 있습니다.

구분	meta robots 태그	X-Robots-Tag 헤더
적용 위치	HTML `<head>`	HTTP 응답 헤더
대상	HTML 페이지	HTML 외 PDF·이미지·동영상 등
설정 주체	페이지 마크업	서버 설정

근거

위 코드 예시와 규칙은 Google Search Central 공식 문서 "Block Search Indexing with noindex"와 "Robots Meta Tags Specifications"를 근거로 합니다. robots.txt 차단 시 noindex가 무력화된다는 경고, meta 태그와 X-Robots-Tag가 동일한 규칙을 지원한다는 설명, Apache·Nginx 설정 예시는 모두 해당 문서에서 직접 확인한 내용입니다.