llms.txt

개요와 배경

llms.txt는 웹사이트 루트(/llms.txt)에 두는 마크다운 파일로, 대규모 언어 모델(LLM)이 추론 시점에 사이트 콘텐츠를 정확하고 효율적으로 이해하도록 돕는 제안 표준입니다. Answer.AI의 제러미 하워드가 2024년 9월 3일 llmstxt.org를 통해 처음 공개했습니다.

이 제안의 배경에는 LLM의 제한된 컨텍스트 윈도가 있습니다. 공식 제안에 따르면, 모델이 웹사이트 정보에 점점 더 의존하는데도 대부분의 사이트는 한 번에 컨텍스트 윈도에 담기에는 지나치게 크며, 내비게이션·광고·자바스크립트로 뒤덮인 복잡한 HTML을 LLM이 읽을 수 있는 깔끔한 텍스트로 변환하는 일은 어렵고 오류가 나기 쉽습니다. llms.txt는 간결하고 전문가 수준의 정보를 한곳에 모아 이 문제를 완화하려는 시도입니다.

파일 형식

공식 규격은 마크다운으로 작성되며 정해진 순서를 따릅니다. 선택 사항인 BOM(바이트 순서 표시) 다음에 프로젝트나 사이트 이름을 담은 H1(유일한 필수 요소), 핵심을 요약한 인용구(blockquote), 추가 제목을 제외한 임의의 마크다운 본문, 그리고 추가 정보로 향하는 URL을 담은 H2 "파일 목록" 섹션이 이어집니다. 각 항목은 [제목](URL) 형태의 마크다운 링크이며, 뒤에 :와 설명을 선택적으로 붙일 수 있습니다.

공식 제안에 제시된 기본 형식은 다음과 같습니다.

# Title

> Optional description goes here

Optional details go here

## Section name

- [Link title](https://link_url): Optional link details

## Optional

- [Link title](https://link_url)

여기서 ## Optional 섹션은 특별한 의미를 가집니다. 더 짧은 컨텍스트가 필요할 때 건너뛸 수 있는 부차적 정보를 모아 두는 자리입니다.

실제 사례로, Anthropic은 자사 개발자 문서를 위한 llms.txt를 제공합니다(platform.claude.com/llms.txt, docs.anthropic.com/llms.txt에서 리다이렉트). 이 파일은 H1 # Anthropic Developer Documentation으로 시작해 요약 문단이 이어지고, 각 문서의 .md 버전을 나열하는 H2 섹션으로 구성되어 규격을 정확히 따릅니다.

참고로 공식 제안에는 두 번째 권장 사항이 담겨 있습니다. LLM에 유용할 만한 모든 페이지에 대해, 같은 URL에 .md를 덧붙인 깔끔한 마크다운 버전도 함께 제공하라는 것입니다(파일명이 없는 URL은 index.html.md가 됩니다). 두 권장 사항을 모두 따르는 대표 사례로는 FastHTML 프로젝트가 꼽힙니다.

robots.txt 및 sitemap.xml과의 차이

llms.txt는 기존 웹 표준을 대체하기보다 함께 공존하도록 설계되었습니다. 세 파일은 목적이 뚜렷하게 구분됩니다.

구분	llms.txt	robots.txt	sitemap.xml
주요 목적	사이트의 핵심 정보와 문서를 LLM에 정리해 제시	크롤러 접근을 허용하거나 차단하는 규칙 전달	색인 대상 페이지의 전체 목록 제공
주요 소비 주체	LLM과 AI 에이전트	검색·크롤링 봇	검색 엔진 색인기
형식	마크다운	평문 규칙(User-agent/Allow/Disallow)	XML
외부 사이트 링크	포함 가능	해당 없음	일반적으로 미포함
활용 시점	주로 추론 시점(사용자 요청 시)	크롤링 시점	색인 시점
위치	루트 /llms.txt	루트 /robots.txt	대개 루트 /sitemap.xml

공식 제안은 sitemap.xml이 llms.txt를 대신할 수 없는 이유를 설명합니다. 사이트맵에는 페이지의 LLM 친화적 버전이 담기지 않는 경우가 많고, 유용한 외부 URL을 나열하지 않으며, 전체를 합치면 너무 크고 불필요한 세부 정보가 가득해 컨텍스트 윈도에 담기 어렵다는 것입니다. robots.txt와 llms.txt는 모두 루트 경로 관례를 따르지만, 전자는 접근을 통제하고 후자는 정보를 전달한다는 점에서 역할이 갈립니다.

현황과 한계

llms.txt는 비공식 제안이며, 공식 제안 자체도 이를 "커뮤니티 피드백에 열려 있는 명세"라고 설명합니다. 버전 관리와 공개 논의는 깃허브 저장소에서 이뤄지며, llmstxt.site와 directory.llmstxt.cloud 같은 디렉터리가 도입 사이트를 모으고 있습니다. VitePress, Docusaurus, Drupal용 플러그인을 포함한 생성 도구도 등장했습니다.

다만 robots.txt나 사이트맵과 달리, 주요 검색·AI 사업자가 llms.txt를 읽거나 인용에 반영한다는 보장은 없습니다. 따라서 llms.txt는 표준 SEO 및 기술 기반을 대체하는 수단이 아니라, AI 친화적 문서를 제공하기 위한 보완 옵션으로 보는 편이 안전합니다. 정보를 LLM에 전달하는, 문서와 API 레퍼런스를 다루는 개발 환경에 가장 자연스럽게 들어맞습니다.

구현 체크리스트

• 루트 경로 /llms.txt에 마크다운 파일을 둡니다.
• H1에 사이트나 프로젝트 이름을 넣고, 바로 아래 인용구(>)에 핵심 요약을 작성합니다.
• 문서를 H2 섹션으로 묶고, 각 항목을 [제목](URL): 설명 형태로 작성합니다.
• 건너뛸 수 있는 부차적 자료는 ## Optional 섹션 아래에 모읍니다.
• 가능하다면 핵심 페이지의 .md 버전도 같은 URL에 함께 제공합니다.
• 모호한 표현과 설명 없는 전문 용어를 피하고, 모든 링크에 간결한 설명을 붙입니다.
• robots.txt, sitemap.xml, 구조화 데이터 같은 기존 표준은 그대로 유지합니다. llms.txt는 대체가 아니라 보완입니다.

참고·출처

• The /llms.txt file — 제러미 하워드, Answer.AI (2024-09-03), 공식 제안
• Anthropic 개발자 문서 llms.txt (실제 사례)