llms.txt 有什么用,如何添加到网站?
Neaptide · 2026年7月22日 · 5 分钟阅读 · 更新于: 2026年10月3日
判断网站是否需要 llms.txt,选择实用页面并发布文件。包含 Markdown 示例、访问检查、多语言处理和 llms-full.txt 的局限。
本文目录

llms.txt 是一份写给语言模型工具看的网站文字指南:介绍网站,并列出值得读的资源链接。工具真的读了文件、顺着链接打开页面,它才派得上用场。光是发布文件,并不能保证 AI 搜索会发现、推荐或引用你的网站。
你的网站需要吗?
先想清楚这个文件要解决什么事:帮人找到配置说明、比较服务条件,还是挑选课程。能把问题和对应的答案页面一一列出来,指南就有了底子。如果网站本身还没把服务内容和限制讲清楚,先把这些页面补好。只有一页的小网站,多一份索引用处不大。
与 robots.txt 和 sitemap 有何不同
Jeremy Howard 在 2024 年提出 llms.txt,2026 年 8 月发布了第二版。它是一项开放的格式提案,没有哪家搜索引擎要求网站必须提供。
- sitemap.xml 向搜索引擎提供网址,不保证索引。
- robots.txt 给爬虫访问指引,私密内容仍需身份验证。
- llms.txt 说明网站和资源,不授予权限,也不覆盖访问限制。
Google 明确表示,Google 搜索会忽略这类文件,llms.txt 不影响搜索可见度和排名。维护这个文件,是为了其他确实会读取它的工具。
选择页面并编写文件
从客户真正会问的问题出发,比如套餐包含什么、怎么导入数据、怎么取消。先挑几个内容准确、答案清楚的页面。有干净的 Markdown 版本就优先链接它;但不要只把网址后缀改成 .md,而对应的文件既没有发布,也没有打开核对过。
文件以包含网站名称的一级标题开头,之后可以用Markdown引用块写一段简短介绍,再用二级标题组织链接列表。按照格式约定,次要资源可以放在名为Optional的栏目下。下面以虚构的预约服务为例,使用时需要替换网址:
# 预约服务
> 面向小型工作室和独立专业人士的在线预约工具。
## 开始使用
- [套餐](https://example.com/zh/pricing.md): 价格、预约数量限制和附加功能。
- [配置](https://example.com/zh/help/setup.md): 创建日程并连接预约表单。
- [数据导入](https://example.com/zh/help/import.md): CSV 字段、限制和错误检查。
## 条款
- [取消订阅](https://example.com/zh/help/cancellation.md): 取消流程和退款条件。
## Optional
- [更新记录](https://example.com/zh/changelog.md): 按日期记录产品变化。说明每个资源里有什么。“价格、限制和附加功能”能让人判断要不要点开,“最佳解决方案”什么也没说。不要在文件里写要求助手推荐你公司的指令。
发布并检查访问
- 用 UTF-8 编码保存文件,发布到 /llms.txt。第二版也允许放在栏目路径下,例如 /docs/llms.txt。
- 在 Next.js 中,静态文件放在 public/llms.txt。其他平台可能自带生成器,或支持上传文件。
- 未登录打开公开网址,确认得到文件正文,而非错误页或登录界面。
- 逐个打开链接,与主页面核对条款。条件允许时,从同一内容来源生成两种版本。
curl -i https://example.com/llms.txt把 example.com 换成自己的域名。响应状态应为 HTTP 200,正文应是文件本身的内容。如果发生跳转,看最终落在哪个地址。如果返回的是 HTML,多半是错误页或应用页面。服务器和 CDN 对爬虫的限制也要检查。OpenAI 的 OAI-SearchBot 和 GPTBot 分开设置,发布 llms.txt 并不需要放行 GPTBot。
还需要 llms-full.txt 吗?
llms-full.txt 通常指把网站正文或文档合并成的一个文本文件。想一次性把一小批资料交给工具时,这种形式比较方便,但发布 llms.txt 并不要求同时提供它。合并后的文件太大,可能超出模型的上下文容量,也更难及时更新。导出时只放公开内容。
如何处理多语言
按语言分组并标注链接,指向包含相关地区条款的版本。先确保翻译准确、有人维护,再考虑是否需要为每种语言创建完整导出。
区分文件用途与搜索可见度
把文件网址交给能访问网页的助手,让它查取消条件,再对照原页面核对回答和引用的链接。这样验证的是你亲手递过去的指南,搜索服务会不会自己找到网站,这个测试说明不了。同样,服务器日志里的请求只说明文件被读取过,不说明内容被引用。
搜索可见度要另外衡量:每次用同一组客户问题提问,并把回答保存下来。访问量和咨询量也要记录。发布之后数字有变化,不能据此认定是 llms.txt 带来的。