llms.txt:如何让 AI 更懂你的网站
llms.txt:如何让 AI 更懂你的网站
前言
想象一下,你走进一个巨大的图书馆,里面有成千上万本书,但没有目录,没有图书管理员,每本书的内容都杂乱无章地散落在书架上。你想找关于某个主题的信息,却不知道从何开始。
这就是今天的 AI(人工智能)在访问网站时面临的困境。
搜索方式正在发生根本性的变革。
过去,我们用 Google、百度搜索,得到”10 个蓝色链接”,然后点击进入网站阅读。
现在,越来越多人使用 ChatGPT、Claude、Perplexity、DeepSeek 等 AI 助手。AI 不会让你点击链接,而是直接给出答案。
但这个答案从哪里来?AI 如何知道哪些网站值得信任?如何决定引用哪些内容?
这就引出了一个全新的领域:GEO(Generative Engine Optimization,生成式引擎优化)。
GEO 的核心目标:让你的网站成为 AI 答案中的”权威来源”(Source of Truth)。
当用户向 AI 提问时,你希望 AI 从你的网站获取信息,并在答案中引用你。这就是 GEO 的价值。
llms.txt 正是实现 GEO 目标的关键工具之一。它为网站提供了一种简洁、结构化的方式,让 AI 能够快速、准确地理解网站内容。
什么是 llms.txt
用一个通俗的类比来说:
llms.txt 就像是网站的”简历”或”智能目录”。
就像你求职时会准备一份简历,突出自己的技能、经验和成就;或者一本书会提供目录,让读者快速了解全书结构和章节内容。llms.txt 就是网站的”简历”和”目录”。
从 GEO 角度理解:
如果说 SEO 是让你的网站在搜索结果中”被看到”,那么 GEO(通过 llms.txt)就是让你的网站在 AI 答案中”被引用”。
官方定义(通俗版):
llms.txt 是一个位于网站根目录(/llms.txt)的 Markdown 格式文件,它包含了网站最重要内容的精炼索引。这个文件:
- 专门为 AI 设计,但人类也可以阅读
- 格式简单,就是普通的 Markdown
- 内容精选,只包含最重要、最有价值的信息
- GEO 友好:帮助 AI 快速理解并引用你的内容
核心概念:
https://yoursite.com/llms.txt
只需要访问这个 URL,AI 就能获得网站的”精华摘要”。
为什么需要 llms.txt
AI 时代的搜索变革:从 SEO 到 GEO
在深入了解技术细节之前,我们先理解一个正在发生的重大变革。
传统 SEO(搜索引擎优化) 的目标是:
- 让你的网站在 Google、百度等搜索结果中排名更高
- 吸引用户点击进入你的网站
- 关注的是”点击量”和”流量”
但时代在改变。
越来越多人使用 ChatGPT、Perplexity、Claude、DeepSeek 等 AI 助手来获取信息。这些 AI 不会展示”10 个蓝色链接”,而是直接给出答案。
这就引出了一个新概念:GEO(Generative Engine Optimization,生成式引擎优化)。
GEO 是什么?
GEO 是优化网页内容的过程,目的是提高在 AI 驱动的对话搜索引擎(如 ChatGPT、Perplexity、Claude)中的可见性、信任度和引用率。
与传统 SEO 关注点击不同,GEO 的目标是:让你的内容成为 AI 综合答案时的”权威来源”(Source of Truth)。
GEO 的核心意义:
| 对比维度 | 传统 SEO | GEO |
|---|---|---|
| 目标 | 吸引点击网站 | 成为 AI 的引用来源 |
| 用户体验 | 点击链接,阅读网页 | 直接获得 AI 答案 |
| 成功指标 | 排名、点击率 | 被 AI 引用、推荐 |
| 优化重点 | 关键词、标题、元描述 | 内容质量、权威性、结构化 |
| 时代背景 | 传统搜索引擎时代 | AI 助手时代 |
llms.txt 正是 GEO 的关键工具之一。
它让 AI 能够:
- 快速发现你的核心内容
- 准确理解你的网站价值
- 优先引用你的内容作为答案来源
当前 AI 获取网站信息的困难
当 AI 访问一个普通网站时,它面临多重挑战:
1. 复杂的 HTML 结构
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>网站标题</title>
<style>/* 大量 CSS */</style>
<script>/* 大量 JavaScript */</script>
</head>
<body>
<nav class="navigation">
<div class="menu">
<ul><li><a href="#">导航1</a></li>...</ul>
</div>
</nav>
<aside class="sidebar">
<!-- 侧边栏内容 -->
</aside>
<main class="content">
<!-- 真正的内容在这里,但被淹没在大量代码中 -->
</main>
<footer class="footer">
<!-- 页脚信息 -->
</footer>
</body>
</html>
AI 需要解析这些复杂的结构,还要过滤掉导航、侧边栏、页脚等”噪音”。
2. 内容分散
网站的核心内容可能分散在多个页面:
- 首页
- 关于我们
- 文档页面
- 博客文章
- FAQ 页面
……
AI 难以判断哪些页面重要,哪些可以忽略。
3. JavaScript 动态内容
很多现代网站使用 JavaScript 动态加载内容,这增加了 AI 获取信息的难度。
4. GEO 视角下的信任危机
- AI 需要确定内容的权威性和准确性
- 复杂的页面结构让 AI 难以评估内容质量
- 缺乏清晰的信息层级,影响 AI 的引用决策
llms.txt 的优势:GEO 时代的利器
相比之下,llms.txt 提供了:
✓ 精炼的专家级信息
- 只有精选的重要内容
- 去除噪音和冗余
- 直达核心
✓ 统一的格式
- 所有网站都使用相同的 Markdown 格式
- AI 只需学习一种格式,就能理解所有网站
- 标准化带来效率
✓ 快速访问
- 单个文件,一次请求
- 无需复杂的解析
- 节省时间和计算资源
✓ 人类也可读
- 虽然为 AI 设计,但人类也能轻松阅读
- 维护简单,无需专业工具
✓ GEO 的核心优势
- 提升引用率:清晰的索引让 AI 更容易引用你的内容
- 建立权威性:主动展示最重要的内容,体现专业度
- 优化信任度:结构化的信息传递,增强 AI 的信任
- 成为来源:让 AI 综合答案时优先选择你的网站
GEO 实践案例:
当用户向 ChatGPT 询问”Shopify 的定价方案”时,如果 Shopify 有 llms.txt,AI 可以直接找到定价页面的准确链接,并在答案中引用。这不仅提供了准确的答案,还让 Shopify 成为这个问题的”权威来源”。
llms.txt 文件格式详解
llms.txt 使用简单的 Markdown 格式。标准格式如下:
# 项目/网站名称
> 简短描述(1-2 句话)
## 分类名称
- [页面标题](URL): 可选说明
## 另一个分类
- [文档首页](URL): 重要文档
- [API 参考](URL)
- [教程](URL)
## Optional
- 这部分内容是可选的
- AI 可以根据需要选择是否读取
各部分详解
1. H1 标题(必需)
# 我的网站名称
- 使用一级标题(
#) - 简洁明了,通常是网站或项目名称
2. 引用块摘要(推荐)
> 这是一个关于 Web 开发的教学网站,提供 HTML、CSS、JavaScript 等前端技术的详细教程。
- 使用引用块(
>) - 1-2 句话描述网站用途
- 帮助 AI 快速理解网站定位
3. H2 分类和文件列表
## 主要文档
- [快速入门](/docs/getting-started.html)
- [API 参考](/docs/api.html): 完整的 API 文档
- [常见问题](/docs/faq.html)
- 使用二级标题(
##)创建分类 - 每个文件用 Markdown 链接格式:
[标题](URL) - 可以在链接后添加
:和说明文字
4. “Optional” 分组(特殊)
## Optional
- [详细技术规范](/specs): 技术细节,非必需
- [历史版本](/archive)
- 标题为 “Optional” 的分组有特殊含义
- 告诉 AI:这些内容是可选的,根据需要决定是否读取
llms.txt 与其他标准的区别
你可能听说过 sitemap.xml 或 robots.txt,它们和 llms.txt 有什么不同呢?
与 sitemap.xml 的对比
| 特性 | sitemap.xml | llms.txt |
|---|---|---|
| 目标用户 | 搜索引擎(Google、百度等) | AI(ChatGPT、Claude 等) |
| 内容 | 网站的所有页面 URL | 精选的重要内容索引 |
| 格式 | XML | Markdown |
| 目的 | 帮助搜索引擎发现和索引页面 | 帮助 AI 理解网站核心内容 |
| 粒度 | 完整、全面 | 精炼、有选择性 |
简单理解:sitemap 是给搜索引擎的”完整清单”,llms.txt 是给 AI 的”精华目录”。
与 robots.txt 的对比
| 特性 | robots.txt | llms.txt |
|---|---|---|
| 作用 | 告诉爬虫什么能爬、什么不能爬 | 告诉 AI 网站有什么、在哪里找 |
| 性质 | 禁止/允许指令 | 内容索引 |
| 格式 | 特定文本格式 | Markdown |
| 关注点 | 访问控制 | 信息组织 |
简单理解:robots.txt 是”门卫”,llms.txt 是”导游”。
与 SEO 和 GEO 的关系
现在我们来理清 SEO、GEO 和 llms.txt 的关系。
SEO(搜索引擎优化):
- 目标:传统搜索引擎(Google、百度等)
- 优化内容:关键词、标题、元描述、反向链接
- 成功指标:排名、点击率、流量
- 时代背景:Web 1.0 - Web 2.0
GEO(生成式引擎优化):
- 目标:AI 助手(ChatGPT、Claude、Perplexity 等)
- 优化内容:内容质量、权威性、结构化数据、llms.txt
- 成功指标:被 AI 引用、成为答案来源、信任度
- 时代背景:AI 时代
llms.txt 在整体策略中的位置:
网站优化需要同时关注 SEO 和 GEO,两者相辅相成:
| 优化目标 | SEO(传统) | GEO(AI 时代) |
|---|---|---|
| 目标受众 | Google、百度等搜索引擎 | ChatGPT、Claude、Perplexity 等 AI |
| 核心做法 | 关键词优化、反向链接 | 高质量内容、llms.txt |
| 成功标志 | 排名更高、点击更多 | 被 AI 引用、成为答案来源 |
| 基础工具 | sitemap.xml | llms.txt |
它们的关系:
-
SEO 和 GEO 不是对立的,而是互补的
- SEO 让你在传统搜索中排名更高
- GEO 让你在 AI 答案中被引用
- 两者都重要,缺一不可
-
llms.txt 是 GEO 的重要工具
- 就像 sitemap.xml 是 SEO 的基础工具
- llms.txt 是 GEO 的基础工具
- 它帮助 AI 快速理解你的网站
-
未来趋势:
- 传统搜索引擎也在整合 AI(如 SGE、AI Overviews)
- SEO 和 GEO 的界限会逐渐模糊
- llms.txt 可能成为所有网站的标配
简单理解:
- SEO 让人类在搜索结果中找到你
- GEO 让 AI 在回答问题时引用你
- llms.txt 是 GEO 的基础工具,就像 sitemap 是 SEO 的基础工具
实际案例:Shopify 的 llms.txt
让我们看看一个真实的世界级案例。Shopify 是一个知名的电商平台,他们的 llms.txt 做得很好,而且完美体现了 GEO 的理念。
Shopify 的最新实现
# llms.txt for Shopify
> Shopify is a commerce platform that helps you sell online and in person. Entrepreneurs, retailers, and global brands use Shopify to process sales, run stores, and grow their businesses.
## Company Information
- [Shopify Inc.](https://www.shopify.com/about)
- [Founded 2006](https://www.shopify.com/about)
- [Ottawa, Ontario, Canada](https://www.shopify.com/about)
- [Investor Relations](https://www.shopify.com/investors)
## Key Statistics
- Shopify App Store contains 8,000+ apps
- Shopify first issued shares to the public on May 21, 2015
- Shopify fiscal year ends on December 31
## Pricing and Structure
- [Basic](https://www.shopify.com/pricing)
- [Grow](https://www.shopify.com/pricing)
- [Advanced](https://www.shopify.com/pricing)
- [Plus](https://www.shopify.com/pricing)
- [Enterprise](https://www.shopify.com/enterprise)
为什么这是一个 GEO 的优秀案例?
1. 清晰的定位描述
- 开头的引用块直接说明了 Shopify 的核心价值
- “helps you sell online and in person”——一句话讲清楚业务
- 目标用户明确:Entrepreneurs, retailers, and global brands
2. 结构化的关键信息
- 将信息分为几个明确的类别
- 公司信息、关键数据、定价方案——AI 需要的核心数据一目了然
3. GEO 视角的优化
- 当 AI 被问及”Shopify 是什么”、”Shopify 的定价”、”Shopify 的规模”等问题时
- 可以从 llms.txt 快速获取准确答案
- 成功成为这些问题的”权威来源”
4. 简洁但完整
- 没有堆砌所有内容
- 只包含 AI 最需要回答常见问题的核心信息
- 体现了”Less is More”的 GEO 原则
从 Shopify 案例学到的 GEO 最佳实践
| GEO 原则 | Shopify 的实践 | 你的应用 |
|---|---|---|
| 清晰的定位 | 一句话描述核心价值 | 用一句话说清你的网站是做什么的 |
| 关键信息突出 | 公司信息、数据、定价单独分类 | 把 AI 最常问的信息放在前面 |
| 简洁优先 | 只包含核心内容,不堆砌 | 选择最重要的 10-20 个链接 |
| 结构化组织 | 用 H2 分类组织信息 | 根据你的内容类型合理分类 |
| AI 友好 | 纯文本 Markdown,无噪音 | 避免 HTML、JavaScript 等复杂格式 |
其他知名案例
FastHTML:Python 的现代 HTML 框架
- 其 llms.txt 包含了完整的教程和 API 文档链接
- 技术文档网站的典范
Stripe:支付平台
- 开发者文档的优秀案例
- 结构清晰,内容精炼
你可以访问这些网站查看:
https://www.shopify.com/llms.txt
为你的网站创建 llms.txt
现在,让我们为你的网站创建一个 llms.txt 文件。
步骤 1:确定要包含的内容
问自己这几个问题:
- 网站的核心内容是什么?
- 用户(或 AI)最需要知道哪些信息?
- 有哪些重要文档或页面?
常见的分类建议:
- 主要文档/指南
- 教程/入门
- API 参考/技术文档
- 博客/文章
- 关于/联系信息
步骤 2:按格式编写文件
创建一个名为 llms.txt 的文件,使用你喜欢的文本编辑器(VS Code、记事本等)。
示例 1:电商商城(推荐使用 .md 版本)
# 数码好物商城
> 专注于高品质数码配件,官方正品保障
## 热门产品
- [便携充电宝 20000mAh](https://store.com/products/power-bank-20000mah.html.md): 主力爆款,双向快充,销量最高
- [无线充电器 15W](https://store.com/products/wireless-charger.html.md): 支持多设备,兼容 Qi 协议
- [氮化镓充电器 65W](https://store.com/products/gan-charger-65w.html.md): 小巧便携,快充首选
## 产品分类
- [充电配件](https://store.com/collections/charging.html.md): 充电宝、充电器、数据线
- [音频设备](https://store.com/collections/audio.html.md): 耳机、音箱、音频配件
- [数码配件](https://store.com/collections/accessories.html.md): 支架、保护壳、收纳包
## 服务支持
- [配送说明](https://store.com/pages/shipping.html.md): 全国包邮,时效说明
- [售后政策](https://store.com/pages/returns.html.md): 7天无理由退换
- [常见问题](https://store.com/pages/faq.html.md): 订单、支付、配送问题
## 公司信息
- [关于我们](https://store.com/pages/about.html.md): 品牌故事和联系方式
为什么商城推荐使用 .md 版本?
商城的产品页面通常包含大量”噪音”:推荐商品、评论、侧边栏广告等。使用
.html.md版本可以让 AI 快速获取核心产品信息(名称、价格、参数),同时在 .md 内容中包含正式产品页面链接,方便 AI 向用户推荐时提供可点击的购买链接。
示例 2:公司官网
# ABC 科技公司
> 专注于企业级 SaaS 解决方案
## 产品
- [产品概述](https://abc.com/products): 我们的产品线
- [定价方案](https://abc.com/pricing): 灵活的定价选择
- [客户案例](https://abc.com/case-studies): 成功案例分享
## 支持
- [帮助中心](https://support.abc.com): 常见问题和使用指南
- [API 文档](https://docs.abc.com): 开发者 API 参考
- [系统状态](https://status.abc.com): 服务状态监控
## 公司
- [关于我们](https://abc.com/about): 公司介绍和团队
- [招聘信息](https://abc.com/careers): 加入我们
- [联系方式](https://abc.com/contact): 销售和客服
## Optional
- [博客](https://abc.com/blog): 行业洞察和技术分享
- [新闻中心](https://abc.com/news): 公司动态和媒体报道
步骤 3:放置到网站根目录
将 llms.txt 文件放置到你的网站根目录:
yoursite.com/
├── llms.txt ← 放在这里
├── index.html
├── about.html
└── docs/
└── ...
步骤 4:验证
在浏览器中访问:
https://yoursite.com/llms.txt
如果能看到你创建的内容,就成功了!
不同的网站平台如何添加?
| 平台 | 方法 |
|---|---|
| 静态网站(GitHub Pages) | 将 llms.txt 放在仓库根目录 |
| WordPress | 使用 FTP 或文件管理器上传到根目录,或使用插件 |
| Vercel/Netlify | 将 llms.txt 放在项目根目录的 public/ 文件夹 |
| Nginx/Apache | 直接放到网站根目录 |
| 自定义后端 | 添加路由,当访问 /llms.txt 时返回文件内容 |
进阶:让页面支持 .md 版本
这是一个进阶技巧:让你的内容页面同时支持 HTML 和 Markdown 版本。
为什么要这样做?
- AI 更擅长处理 Markdown
- Markdown 更简洁,没有 HTML 标签的噪音
- 方便 AI 直接使用内容
如何实现?
方法 1:添加 .md 路由
在 llms.txt 中,链接到 .md 版本的页面:
## Documentation
- [Getting Started](https://yoursite.com/docs/getting-started.md)
- [API Reference](https://yoursite.com/docs/api.md)
然后在你的服务器或应用中添加路由:
- 当访问
getting-started.md时,返回 Markdown 格式的内容 - 当访问
getting-started.html时,返回渲染后的 HTML
方法 2:使用查询参数
- [API Reference](https://yoursite.com/docs/api?format=md)
服务器根据 format 参数返回不同格式。
示例:FastHTML 的实现
FastHTML(一个 Python Web 框架)在其 llms.txt 中链接到 .md 版本:
# FastHTML
> Modern Python web framework
## Documentation
- [Tutorial](https://docs.fastht.ml/tutorial/index.md)
- [API Reference](https://docs.fastht.ml/api/core.md)
- [Examples](https://docs.fastht.ml/examples/index.md)
这样,AI 可以直接获取纯净的 Markdown 内容。
常见问题
Q:非技术人员能自己创建 llms.txt 吗?
A:完全可以! llms.txt 就是普通的 Markdown 文本文件,不需要编程知识。只要你会用记事本或任何文本编辑器,就能创建和维护它。
Q:会影响网站性能吗?
A:不会。 llms.txt 是一个很小的文本文件(通常几 KB),访问它对服务器性能的影响微乎其微。而且它只在需要时被访问,不会自动加载。
Q:必须放在根目录吗?
A:强烈建议放在根目录(/llms.txt)。 这是标准约定,AI 和工具都会默认在这个位置查找。如果放在其他位置(如 /docs/llms.txt),可能无法被发现。
Q:中文网站可以用吗?
A:当然可以! llms.txt 完全支持中文和其他语言。你可以在文件中使用中文标题、描述和链接。
Q:与 robots.txt 冲突吗?
A:不冲突。 robots.txt 控制爬虫访问权限,llms.txt 提供内容索引。它们服务于不同目的,可以共存:
yoursite.com/
├── robots.txt ← 告诉爬虫什么能爬
├── llms.txt ← 告诉 AI 内容在哪里
└── index.html
Q:需要经常更新吗?
A:根据你的网站更新频率而定。 如果你添加了重要的新页面或文档,应该更新 llms.txt。但不需要像 sitemap.xml 那样频繁更新。
Q:会被搜索引擎索引吗?
A:可能会。 搜索引擎可能会发现并索引 llms.txt 文件。这通常不是问题,因为内容本身就是公开的。如果你不希望被索引,可以在 robots.txt 中禁止。
Q:GEO 和 SEO 哪个更重要?
A:两者都重要,但 GEO 是未来趋势。
- 短期内:传统 SEO 仍然重要,因为大多数人还在使用 Google 等搜索引擎
- 长期看:随着 AI 搜索的普及,GEO 会变得越来越重要
- 最佳策略:同时优化 SEO 和 GEO,两者相辅相成
Q:llms.txt 真的能帮助 GEO 吗?
A:是的,有实际案例证明。
- 很多早期采用者报告,添加 llms.txt 后,AI 答案中引用他们内容的频率增加了
- 当 AI 能快速理解你的网站结构时,更可能将其作为可信来源
- 虽然没有”保证排名”,但确实能提升被引用的概率
Q:非技术内容需要 GEO 吗?
A:非常需要! 实际上,非技术内容可能更容易从 GEO 中受益:
- 博客作者:AI 可以准确引用和总结你的观点
- 本地商家:当用户询问”附近的好餐厅”时,AI 可能推荐你
- 教育者:你的教程可能成为 AI 解释概念时的来源
- 任何网站:只要希望被 AI 引用,就需要 GEO
学习资源
想要深入了解 llms.txt?
- 官方网站:https://llmstxt.org/ - 官方规范和最新动态
- GitHub 讨论:很多开发者在讨论最佳实践
- 社区案例:查看知名开源项目的 llms.txt 实现