X-Robots-Tag
X-Robots-Tag는 HTML <meta> 태그 대신 HTTP 응답 헤더로 noindex, nofollow 같은 색인 지시를 검색 엔진에 전달하는 방식입니다. 헤더 레벨에서 동작하므로 HTML이 없는 PDF, 이미지 등의 파일에도 색인 규칙을 적용할 수 있습니다.
- X-Robots-Tag는 HTTP 응답 헤더를 통해 noindex, nofollow 등의 색인 지시를 검색 엔진에 전달하는 방식입니다.
- HTML
<head>에 들어가는 메타 로봇 태그와 달리, HTML이 없는 PDF, 이미지, 동영상 파일에도 적용할 수 있습니다. - 서버 설정(Apache, Nginx)에서 정규식으로 특정 파일 유형에 일괄 적용할 수 있어 대규모 사이트에 유용합니다.
- noindex가 적용되려면 해당 페이지가 robots.txt로 차단되지 않고 크롤러가 접근 가능해야 합니다.
개요
X-Robots-Tag는 검색 엔진의 색인 동작을 제어하는 지시를 HTTP 응답 헤더 형태로 전달하는 방법입니다. 일반적으로 색인 제어에 사용하는 메타 로봇 태그는 HTML 문서의 <head> 안에 작성하지만, X-Robots-Tag는 서버가 응답을 보낼 때 헤더에 직접 값을 실어 보냅니다.
이 차이 때문에 X-Robots-Tag는 HTML이 아닌 파일에도 색인 규칙을 적용할 수 있습니다. PDF 문서, 이미지, 동영상처럼 <meta> 태그를 넣을 자리가 없는 리소스라도 HTTP 헤더는 항상 응답에 포함되므로, 서버 설정만으로 색인 여부를 제어할 수 있습니다.
응답 헤더의 기본 형태는 다음과 같습니다.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex여러 지시를 함께 적용할 때는 쉼표로 구분하거나 헤더를 여러 줄로 나눠 작성합니다.
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST지원되는 지시값은 메타 로봇 태그와 동일하며 noindex, nofollow, none, nosnippet, noimageindex, notranslate, max-snippet, max-image-preview, unavailable_after 등을 사용할 수 있습니다.
서버 설정 코드 예시
특정 파일 유형에 한꺼번에 색인 차단을 적용할 때 서버 설정이 효과적입니다. 아래 예시는 모든 PDF 파일을 색인에서 제외합니다.
Apache(.htaccess 또는 httpd.conf):
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>Nginx(사이트 .conf 파일):
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}정규식을 활용해 파일 확장자 단위로 규칙을 적용할 수 있어, 페이지마다 메타 태그를 일일이 넣는 것보다 관리가 간편합니다. Nginx는 설정 변경 후 재시작이 필요한 반면, Apache는 .htaccess 파일 수정만으로 반영됩니다.
메타 로봇 태그와의 차이
메타 로봇 태그는 HTML 문서의 <head> 안에 <meta name="robots" content="noindex"> 형태로 작성하며, HTML 페이지에만 사용할 수 있습니다. 반면 X-Robots-Tag는 HTTP 헤더 방식이므로 HTML 여부와 무관하게 모든 응답에 적용할 수 있습니다.
- 메타 로봇 태그: HTML
<head>안에 작성, HTML 페이지 전용 - X-Robots-Tag: HTTP 응답 헤더로 전달, PDF·이미지 등 비HTML 파일에도 적용 가능, 서버 설정으로 일괄 처리
두 방식은 동일한 지시값을 지원하므로 결과는 같습니다. 어느 쪽을 쓰든 색인 차단을 적용할 파일 유형과 운영 환경에 맞춰 선택하면 됩니다.
근거
Google Search Central 문서는 메타 로봇 태그 대신 noindex 또는 none 값을 가진 X-Robots-Tag HTTP 헤더를 반환할 수 있다고 명시하며, 위 Apache/Nginx 설정 예시와 응답 헤더 형식을 제시합니다. 또한 색인 차단(noindex 등)이 효과를 가지려면 해당 페이지나 리소스가 robots.txt로 차단되지 않고 크롤러가 접근할 수 있어야 한다고 설명합니다. robots.txt로 막혀 있으면 크롤러가 페이지를 가져오지 못해 X-Robots-Tag 지시를 읽을 수 없기 때문입니다.