llms.txt 标准提案调研报告

Codex 核验（2026-10-09）：官方提案现为 v2（页面修订 2026-08-10）。允许根目录及子路径 llms.txt，适用时取最具体路径；Markdown 可用追加 .md、替换扩展名或 index.md，并建议 alternate/describedby 链接发现。v2 强调小索引、按需跟随相关链接。它仍是提案，robots.txt 也不提供访问授权或安全隔离。2024-09-03 到本文 2026-06-18 约21个月，原“9个月”错误；采用数量和客户端支持表保留原日期。

调研日期：2026-06-18
调研人：Alaya 研究助手
来源：https://llmstxt.org/ | https://github.com/AnswerDotAI/llms-txt

一、概述

llms.txt 是由 Jeremy Howard（fast.ai 创始人）于 2024 年 9 月提出的一项开放标准提案，旨在为网站定义一个 /llms.txt 文件，向 LLM（大语言模型）和 AI Agent 提供结构化、语义清晰的网站内容指引。

GitHub Stars: ~2,445
GitHub Forks: ~142
提案时间: 2024-09-03
官方站点: https://llmstxt.org/
仓库: https://github.com/AnswerDotAI/llms-txt
社区频道: Discord（链接见官网）

二、核心概念

2.1 为什么需要 llms.txt？

LLM 面临一个根本性限制：上下文窗口太小，无法完整处理大多数网站。将复杂 HTML（含导航、广告、JavaScript）转换成 LLM 友好的纯文本既不精确。虽然网站同时服务人类读者和 LLM，但后者需要更简洁、更集中的信息。

2.2 两个核心提案

/llms.txt 文件：网站根路径放置一个 Markdown 文件，提供：
- 项目/网站的名称（H1，唯一必需项）
- 简短摘要（blockquote）
- 详细说明文本
- 按 H2 分组的文件列表（Markdown 链接），指向详细内容的 Markdown 版本页面
- 特殊的 ## Optional 节：包含可跳过（节省 token）的次要内容
.md 后缀页面：每个有 LLM 价值的 HTML 页面，在相同 URL 追加 .md 后缀提供纯 Markdown 版本（如 page.html → page.html.md）

2.3 技术规范（格式）

# Title

> Optional description here

Optional details go here

## Section name

- [Link title](https://link_url): Optional link details

## Optional

- [Link title](https://link_url)

使用 Markdown 而非 XML/JSON 格式（因其同时对人类和 LLM 可读）
包含 BOM（byte-order mark）可选
H1 为唯一必需节
H2 节下的文件列表：必需为 [名称](URL) 格式，可选加 : 和描述
## Optional 节有特殊语义：可被跳过以节省 token

2.4 与现有标准的关系

标准	用途	目标受众	与 llms.txt 的关系
robots.txt	控制爬虫访问策略	搜索引擎/爬虫	互补 — robots.txt 管访问权限，llms.txt 管内容呈现
sitemap.xml	列出所有可索引页面	搜索引擎	互补 — sitemap 追求全面，llms.txt 追求精炼、按主题组织
llms.txt	为 LLM 提供精炼内容指引	LLM / AI Agent	—

llms.txt 的设计哲学是 inference-time（推理时） 使用（用户主动请求时），而非 training-time（训练时） 使用。不过如果广泛采纳，未来训练也可受益。

2.5 标准工具链

官方提供的 llms_txt2ctx CLI 工具可将 /llms.txt 解析并展开为两种上下文文件：

llms-ctx.txt：不含 Optional 链接的精简版
llms-ctx-full.txt：包含全部链接的完整版

示例：FastHTML 文档的 llms.txt → llms-ctx.txt

三、社区采纳现状

3.1 知名站点采纳情况（实测）

在 2026-06-18 的探测中：

站点	`/llms.txt` 状态	说明
react.dev	✅ 200	React 官方文档，内容全面覆盖 API、Hooks、教程
nextjs.org	✅ 200	Vercel 旗下 Next.js 框架
vuejs.org	✅ 200	Vue.js 官方文档
svelte.dev	✅ 200	Svelte 框架官方
angular.dev	✅ 200	Angular 官方文档
expressjs.com	✅ 200	Express.js 框架
pytorch.org	✅ 200	PyTorch 深度学习框架

尚未支持的大站：Python 文档、Tailwind CSS、Node.js、Kubernetes、FastAPI、Hugging Face、fast.ai 本身等。

可见 JavaScript/前端框架生态 是当前最主要的采纳群体，可能与 react.dev 率先支持有关。

3.2 目录站点统计

directory.llmstxt.cloud：已收录约 2,500+ 条目
- 网站类：849 个
- 产品类：447 个
- 开发者工具：358 个
- AI 类：187 个
- 金融类：167 个
llmstxt.site：收录约 800+ 站点（包括酒店、电商、个人博客等多种类型）

3.3 GitHub 仓库

Stars: ~2,445（约 21 个月）
提案发布 2024-09，更新活跃
多位贡献者参与 Python CLI、JavaScript 实现、文档撰写

四、工具生态

4.1 官方工具

工具	类型	说明
`llms_txt2ctx`	Python CLI / 库	解析 llms.txt 并生成 LLM 上下文文件
JS Implementation	JavaScript	参考实现，用于浏览器/Node.js

4.2 第三方集成

工具/插件	平台	说明
vitepress-plugin-llms	VitePress	自动为 VitePress 文档生成 llms.txt
docusaurus-plugin-llms	Docusaurus	为 Docusaurus 文档生成 llms.txt
Drupal LLM Support	Drupal 10.3+	Drupal 站点全功能支持
llms-txt-php	PHP	读写 llms.txt Markdown 的 PHP 库
VS Code PagePilot	VS Code	Chat 参与者，自动加载外部文档上下文

4.3 框架原生支持

nbdev（fast.ai 项目工具）：默认自动为所有页面生成 .md 版本
FastHTML：完全遵循提案，自动生成 llms.txt、llms-ctx.txt、llms-ctx-full.txt

五、对我们系统的价值评估

5.1 对 Hermes 而言

价值：高

Hermes 技能/插件文档：为 Hermes 技能系统生成 /llms.txt 可以让 Claude/GPT 等 LLM 在 IDE 中快速理解 Hermes 工具的能力
Agent 间通信：Hermes Agent 可以在推理时自动读取外部工具的 /llms.txt，而非爬取整个文档站点
上下文窗口优化：llms-ctx.txt 和 llms-ctx-full.txt 两级体系完美匹配不同 token 预算场景

5.2 对个人知识库（gbrain）而言

价值：中高

导入外部知识：gbrain 可直接抓取站点的 /llms.txt + 链接的 .md 页面，作为知识来源
标准化导出：用户个人站点的知识可通过 /llms.txt 暴露给 AI Agent 使用
互操作：与 Obsidian/Logseq 等工具的 Publish 功能结合，自动生成 llms.txt

5.3 对网站/文档站点而言