메타 로봇 태그
메타 로봇 태그(Meta Robots Tag)는 HTML 문서 <head>에 위치하는 <meta name="robots"> 요소로, 해당 페이지 단위로 검색엔진의 색인 생성과 검색결과 표시 동작을 지시하는 페이지 수준 제어 방식입니다. noindex, nofollow 등의 지시어를 통해 페이지별로 색인 포함 여부와 링크 추적 여부를 세밀하게 제어합니다.
- 메타 로봇 태그는 HTML
<head>의<meta name="robots">요소로, 페이지 단위 색인·크롤 동작을 검색엔진에 지시하는 'HTML 메타 방식'의 제어 수단입니다. - 대표 지시어는
noindex(검색결과 미노출),nofollow(페이지 내 링크 미추적),nosnippet(스니펫 미생성),max-snippet(스니펫 길이 제한) 등입니다. - 크롤 자체를 차단하는 robots.txt와 다르며, HTTP 헤더로 동일 지시어를 전달하는 X-Robots-Tag와는 전달 위치만 다릅니다. robots.txt로 차단된 페이지에서는 메타 로봇 태그가 무시됩니다.
개요
메타 로봇 태그는 HTML 문서의 <head> 영역에 들어가는 <meta name="robots"> 요소로, 해당 페이지 한 장에 대해 검색엔진의 색인 생성과 검색결과 표시 방식을 제어합니다. name="robots"는 모든 크롤러에 적용되며, 특정 크롤러만 대상으로 할 때는 name="googlebot"처럼 크롤러 이름을 지정합니다. content 속성에 지시어를 콤마로 구분해 여러 개를 함께 넣을 수 있습니다.
주요 지시어
| 지시어 | 의미 |
|---|---|
noindex | 이 페이지를 검색결과에 표시하지 않도록 지시 |
nofollow | 이 페이지의 링크를 따라가지 않도록 지시 |
none | noindex, nofollow를 합친 것과 동일 |
nosnippet | 검색결과에 텍스트 스니펫·동영상 미리보기를 표시하지 않음(AI 개요 활용도 차단) |
indexifembedded | noindex가 있어도 iframe 등으로 임베드된 콘텐츠의 색인은 허용(noindex와 함께 써야 동작) |
max-snippet:[숫자] | 텍스트 스니펫 길이를 지정 문자 수로 제한(0=스니펫 없음, -1=구글이 길이 결정) |
max-image-preview:[설정] | 이미지 미리보기 크기 제어(none/standard/large) |
max-video-preview:[숫자] | 동영상 미리보기 최대 길이(초) 제한(0=정지 이미지만, -1=무제한) |
noimageindex | 이 페이지의 이미지를 색인하지 않음 |
notranslate | 검색결과에서 번역본 제공을 막음 |
unavailable_after:[날짜] | 지정 날짜 이후 검색결과에서 페이지 제거(RFC 822·RFC 850·ISO 8601 형식) |
참고로 noarchive, nocache, nositelinkssearchbox는 현재 구글 검색에서 더 이상 사용하지 않는 지시어입니다.
코드 예시
색인을 막고 링크도 추적하지 않도록 지정하는 기본 형태입니다.
<meta name="robots" content="noindex, nofollow">특정 크롤러만 대상으로 스니펫과 이미지 미리보기를 제어하는 예시입니다.
<meta name="googlebot" content="nosnippet, max-image-preview:large">본문 일부만 스니펫에서 제외할 때는 data-nosnippet 속성을 함께 사용합니다.
<p>노출되는 문장 <span data-nosnippet>스니펫 제외 영역</span>.</p>robots.txt·X-Robots-Tag와의 차이
세 가지는 제어 계층과 전달 위치가 다릅니다. 메타 로봇 태그는 HTML <head> 안에 넣는 페이지 수준 색인·표시 제어이고, X-Robots-Tag는 같은 지시어를 HTTP 응답 헤더로 전달하는 방식이며, robots.txt는 크롤링(가져오기) 자체를 차단하는 파일 수준 제어입니다.
| 구분 | 전달 위치 | 역할 |
|---|---|---|
| 메타 로봇 태그 | HTML <head> 내 <meta> | 페이지 단위 색인·검색결과 표시 제어(HTML 페이지 한정) |
| X-Robots-Tag | HTTP 응답 헤더 | 동일 지시어를 헤더로 전달, 이미지·PDF 등 비-HTML 파일과 사이트 전역 규칙에 적합 |
| robots.txt | 사이트 루트의 텍스트 파일 | 크롤러의 리소스 가져오기 자체를 차단 |
핵심 차이는 동작 시점입니다. 구글 공식 문서에 따르면 robots.txt로 차단된 페이지는 크롤러가 가져오지 못하므로 그 안의 메타 로봇 태그나 X-Robots-Tag 지시어를 읽지 못하고 무시합니다. 따라서 특정 페이지를 색인에서 확실히 제외하려면 robots.txt로 막는 대신, 크롤링은 허용한 상태에서 noindex 메타 로봇 태그(또는 X-Robots-Tag)를 사용해야 합니다. robots.txt 차단은 "가져오지 마라"는 신호일 뿐 "색인하지 마라"는 지시가 아니며, 차단된 URL도 다른 경로로 발견되면 색인될 수 있습니다.
또한 이미지·동영상·PDF처럼 HTML <head>를 넣을 수 없는 비-HTML 리소스에는 메타 로봇 태그를 적용할 수 없으므로, 이 경우 X-Robots-Tag 헤더를 사용합니다. X-Robots-Tag는 정규식과 서버 설정을 통해 사이트 전역 규칙을 일괄 적용할 수 있다는 장점도 있습니다.