文档页面在浏览器中看起来很完整,但其原始 HTML 缺乏读者所需的文本。 AI 代理通过纯 HTTP 请求而不运行 JavaScript 来获取该页面将错过该文本。 Agentic Engine Optimization (AEO) 通过检查内容访问、结构和发现相关材料的方法来帮助识别这些障碍。
Milten 的 AEO 审计检查指定页面和网站的公开文件。报告会区分通过的项目、需要处理的问题和数据不足的部分。
什么是 Agentic Engine Optimization?
Agentic Engine Optimization 是让网站便于 AI 智能体读取和使用的工作。对于文档,这意味着智能体能够获取操作说明、找到示例,并通过链接访问相关参考资料。
审核对于集成指南、API 参考和包含技术示例的页面非常有用。它通过检查软件客户端如何访问已发布的内容来补充 SEO。该报告不衡量搜索排名或在人工智能答案中被引用的可能性。
AEO 网站审核检查什么?
AEO 审计从以下八个方面进行检查。每项检查是否适用、如何计分以及使用哪些评分规则,请以具体报告为准。
| 类别 | 检查内容 |
|---|---|
| 内容发现 | robots.txt 规则和 llms.txt 索引 |
| 页面结构 | 标题、语义标记、示例、Markdown 和依赖 JavaScript 的迹象 |
| 上下文体量 | Token 数量和页面元数据 |
| 交互规则 | agent-permissions.json 中的访问条件和限制说明 |
| 向智能体传递文本 | 内容复制控件和原始文本链接 |
每项检查都会显示结果和问题说明,是否计入总分取决于报告的规则。例如,审计不仅检查是否存在 llms.txt,还会查看其中的链接、说明和章节。仅仅有这个文件,并不代表文档就容易使用。
Token 数量有助于估计模型需要处理的文本体量,并不等于请求费用。不同模型使用的分词方式和价格不同。
审计读取服务器的原始响应,不执行 JavaScript。它寻找结构性问题的迹象,但不会让 AI 智能体执行用户任务。要确认某个智能体能否使用文档,需要另外让它完成具体任务。
ARD 如何帮助代理发现站点资源
代理资源发现 (ARD) 描述了 AI 客户端可用的资源的发现,例如 API、MCP 服务器或工作流。客户端可以使用描述来查找合适的资源,然后通过该资源自己的接口访问它。
ARD 部分检查这些资源说明的发布方式,包括 /.well-known/ard.json、HTML 和 HTTP 标头中的链接、robots.txt 中的 Agentmap 指令,以及嵌入的 ARD JSON-LD。它也识别旧版 ai-catalog.json 格式,以提示可能需要迁移的资料。
报告列出发现的资源、说明文件的地址、字段错误,以及妨碍完成检查的限制。目录缺失、获取失败和文档无效会显示为不同状态。这是发布状态检查,并不能证明其中列出的 API 或 MCP 服务器可以正常运行。
ARD 结果单独显示,不影响 AEO 分数。此部分以前属于速度扫描仪;新的检查在 AEO 中运行,同时保存的速度报告仍然可以访问。
AEO 审核后如何改进您的网站
从智能体完成具体任务时需要阅读的页面开始。例如,对于集成指南,应检查操作说明、参数和请求示例是否可获取。
- 检查正文是否可获取。如果报告提示依赖 JavaScript,请比较原始 HTML 与浏览器中的内容。若缺少必要正文,可考虑服务端渲染或提供可访问的 Markdown 版本。
- 检查结构。按顺序组织标题层级,将示例放在相应操作说明旁,整理重复解释。需要比较参数或选项时,可以使用表格。
- 检查文本体量。将较长的参考文档拆分为相互链接的主题,并保留理解各页所必需的条件和示例。
- 检查相关资料的发现方式。如果使用
llms.txt,请更新链接和简短说明。如果使用 ARD,请修复无法访问的目录地址和无效条目。 - 发布修改后,再次审计同一 URL。比较问题说明,然后让使用中的智能体执行原来的任务,例如查找 API 操作的参数并准备请求。
如何解读AEO分数
阅读总分百分比时,应同时查看适用的检查、各项满分和未完成的结果。本审计不执行 AGENTS.md 和 SKILL.md 检查。
规则和权重可能变化。请比较使用相同规则的报告,并以报告显示的满分为准,不要套用旧示例中的固定总分。单看百分比无法解释还存在哪些问题。
请查看问题说明和获取错误。规则基于启发式方法,可能无法识别不常见的标记、表达或语言。高分并不保证搜索排名、被 AI 回答引用,或某个智能体支持所有格式。
有关优化 AI 代理的常见问题
AEO 审核是否检查整个网站?
一次运行检查指定的 URL,以及为本次检查获取的公开文件。它不会抓取所有页面或读取私有代码仓库。其他指南或参考页面需要分别检查。
我应该允许 robots.txt 中的每个爬虫吗?
不需要。阻止某个爬虫可能是网站的既定政策。请将报告提示与访问政策对照,只为希望允许的客户端修改规则。
添加 llms.txt 就足够了吗?
不够。链接索引不能解决正文无法访问、获取失败或示例不完整的问题。应先提供所需内容,再判断 llms.txt 是否适合智能体的使用流程。
为一篇指南或 API 页面运行 AEO 网站审计。根据问题说明确定修改项,再使用同一任务验证结果。
