llms.txt
llms.txtは提案された標準です。これは、ウェブサイトのルート（/llms.txt）に配置されるMarkdownファイルで、大規模言語モデルに対して、サイトの最も重要なドキュメントへの厳選された要約とリンクを提供し、推論時にサイトを理解できるようにするものです。Answer.AIのJeremy Howardによって2024年9月3日に提案され、robots.txtとは異なります。robots.txtがクローラーのアクセスを制御するのに対し、その目的はAI向けのコンテンツを1か所に集め、モデルをその内容へ案内することです。
llms.txt は提案中の標準で、サイトのルートに置かれる Markdown ファイルです
/llms.txtで、LLM が広範な HTML を解析する代わりに、要点をすばやく把握できるようにします。これは Answer.AI の Jeremy Howard により 2024年9月3日に提案され、robots.txt や sitemap.xml と共存するよう設計されています。
このフォーマットは固定の Markdown 仕様で、H1 タイトル（唯一の必須要素）、blockquote の要約、そして厳選されたリンク一覧を含む H2 セクションで構成されます。
これは robots.txt（クローラーのブロック）や sitemap.xml（インデックス登録）とは異なる目的を持ちます。llms.txt は主に推論時、つまりユーザーが情報を求めたときに使われます。
llms.txt は非公式な提案であり、Google などの主要な検索・AI プロバイダーが公式サポートを保証しているわけではありません。そのため、robots.txt、sitemaps、または構造化データといった標準的な SEO 基盤に取って代わるものではありません。
概要と背景
llms.txt は提案中の標準で、ウェブサイトのルートに配置される Markdown ファイル（/llms.txt）です。これにより、大規模言語モデル（LLM）が推論時にサイトの内容を正確かつ効率的に理解できるようになります。Answer.AI の Jeremy Howard が 2024年9月3日にllmstxt.orgを通じて紹介しました。
この提案の背景には、LLM のコンテキストウィンドウの制約があります。公式提案によれば、モデルはますますウェブサイト情報に依存するようになっていますが、ほとんどのサイトは一度にコンテキストウィンドウへ収まるには大きすぎます。また、ナビゲーション、広告、JavaScript を含む複雑な HTML を、LLM が読めるきれいなテキストへ変換するのは難しく、エラーも起こりやすいです。llms.txt は、簡潔で専門的な情報を1か所に集めることで、この課題の軽減を目指しています。
ファイル形式
公式仕様は Markdown で記述され、一定の順序に従います。任意の BOM（バイトオーダーマーク）の後に、プロジェクト名またはサイト名を示すH1（唯一の必須要素）、要点を要約するblockquote、さらにそれ以外の見出しを含まない任意の Markdown 本文、そして続いてH2 "file list" セクション追加情報へのURLを含みます。各エントリは、次の形式のMarkdownリンクです。[title](URL)に、任意で:と説明を続けます。
公式提案の基本形式は次のとおりです。
# Title
> Optional description goes here
Optional details go here
## Section name
- [Link title](https://link_url): Optional link details
## Optional
- [Link title](https://link_url)ここで## Optionalセクションには特別な意味があります。短いコンテキストが必要な場合には省略できる二次情報をまとめます。
実際の例として、Anthropic は開発者向けドキュメント用に llms.txt を提供しています (platform.claude.com/llms.txt、docs.anthropic.com/llms.txt からリダイレクト）。これは H1# Anthropic Developer Documentationで始まり、その後に要約段落と、各ドキュメントの.md版を一覧する H2 セクションが続きます。仕様に正確に従っています。
参考までに、公式提案には第2の推奨事項も含まれています。LLM に有用となり得るページについては、同じ URL に.mdを付けたクリーンな Markdown 版も提供することです（ファイル名のない URL はindex.html.mdになります）。FastHTML プロジェクトは、両方の推奨事項に従っている代表例として挙げられています。
robots.txt と sitemap.xml との違い
llms.txt は、既存のウェブ標準に取って代わるのではなく、それらと共存するように設計されています。3つのファイルには、それぞれ明確に異なる目的があります。
項目 | llms.txt | robots.txt | sitemap.xml |
|---|---|---|---|
主な目的 | サイトの主要な情報とドキュメントをLLMs向けに整理して提示する | クローラーのアクセスを許可またはブロックするルールを伝える | インデックス対象のページ一覧を完全に提供する |
主な利用者 | LLMs とAIエージェントs | 検索およびクロールボット | 検索エンジンのインデクサー |
形式 | Markdown | プレーンテキストのルール（User-agent/Allow/Disallow） | XML |
外部サイトへのリンク | 含めることができる | 該当なし | 通常は含めない |
使用される場面 | 主に推論時（ユーザーのリクエスト時） | クロール時 | インデックス作成時 |
場所 | ルート | ルート | 通常はルート |
公式提案では、sitemap.xml が llms.txt の代替にならない理由が説明されています。サイトマップには、LLM 向けに整えられたページ版が含まれていないことが多く、有用な外部 URL が掲載されておらず、さらに全体としては大きすぎて不要な詳細が多いため、コンテキストウィンドウに収まりません。robots.txt と llms.txt はどちらもルートパスに置くという慣例に従いますが、その役割は異なります。前者はアクセスを管理し、後者は情報を提供します。
現状と制約
llms.txt は非公式の提案であり、公式提案自体でも「コミュニティからのフィードバックに開かれた仕様」と説明されています。バージョン管理と公開ディスカッションは GitHub リポジトリで行われ、llmstxt.site や directory.llmstxt.cloud のようなディレクトリには採用サイトが集められています。VitePress、Docusaurus、Drupal 向けのプラグインを含む生成ツールも登場しています。
ただし、robots.txt やサイトマップとは異なり、主要な検索・AI プロバイダーが llms.txt を読み取ったり、引用に反映したりする保証はありません。そのため、llms.txt は標準的な SEO や技術基盤の代替ではなく、AI フレンドリーなドキュメント提供のための補完的な選択肢として扱うのが安全です。これは、情報が LLM に渡されるドキュメントや API リファレンスを扱う開発環境に最も自然に適しています。
実装チェックリスト
ルートパス
/llms.txtに Markdown ファイルを配置します。H1 にはサイト名またはプロジェクト名を、blockquote には主要な要約を記載します（
>) のすぐ下に配置します。ドキュメントを H2 セクションにまとめ、各エントリは
[title](URL): descriptionの形式で記述します。スキップ可能な二次的資料は
## Optionalセクションにまとめます。可能であれば、主要ページの
.md版も同じ URL で提供します。曖昧な表現や説明のない専門用語は避け、すべてのリンクに簡潔な説明を付けます。
robots.txt、sitemap.xml、そしてstructured dataなどの既存の標準はそのまま維持します。llms.txt は代替ではなく補完です。