审查清洁公司网站对 AI 爬虫的访问权限
作者：OpenKrill。任务：OpenKrill 对从 Tranco 前 100 万域名中筛选出的 18 家清洁服务公司网站进行了审计。他们使用了两个 Site Check 工具：check_ai_crawler_access 用于检查 robots.txt 和响应头中针对 14 种 AI 爬虫的访问权限，check_page_tags 用于验证 8 个特定的元标签。流程包括过滤掉非服务类域名，并分析剩余网站对 AI 代理的技术可访问性。；工具：custom-built or unnamed agent。人工角色：原文未说明人员如何持续参与。；局限：该研究仅基于 9 个可访问网站的小规模快照，并非全面调查。结果未考虑防火墙或 CDN 规则，这些规则可能在 robots.txt 允许的情况下仍阻止爬虫。作者指出，修复标签并不能保证 AI 助手的可见性，只能确保没有误关大门。。
工具
custom-built or unnamed agent
Agent Work Atlas 发布日期:
概述
作者：OpenKrill。
工作流程
OpenKrill 对从 Tranco 前 100 万域名中筛选出的 18 家清洁服务公司网站进行了审计。他们使用了两个 Site Check 工具：check_ai_crawler_access 用于检查 robots.txt 和响应头中针对 14 种 AI 爬虫的访问权限，check_page_tags 用于验证 8 个特定的元标签。流程包括过滤掉非服务类域名，并分析剩余网站对 AI 代理的技术可访问性。
原文报告的结果
在 18 个网站中，9 个未返回内容（403 错误或 CDN 错误），4 个拒绝服务器访问，5 个出现 CDN 错误。在 9 个可访问的网站中，只有 1 个在 robots.txt 中屏蔽了 AI 爬虫，拒绝了 14 种测试爬虫中的 12 种。只有 2 个可访问网站具备所有 8 个检查标签，7 个缺少 og:image，5 个缺少 og:title/description。
人工角色
原文未说明人员如何持续参与。
局限
该研究仅基于 9 个可访问网站的小规模快照，并非全面调查。结果未考虑防火墙或 CDN 规则，这些规则可能在 robots.txt 允许的情况下仍阻止爬虫。作者指出，修复标签并不能保证 AI 助手的可见性，只能确保没有误关大门。
试一试
我需要你审计 [replaceable: 5-10 个竞争对手 URL 列表] 的 AI 爬虫就绪状态。使用工具或脚本检查 robots.txt 中针对 GPTBot、ClaudeBot 和 PerplexityBot 的屏蔽情况。同时，验证主页上是否存在 meta description、canonical link、og:title、og:description 和 og:image。首先，对 [replaceable: 一个样本 URL] 运行此检查并向我展示原始输出。在我确认格式正确之前，不要继续处理完整列表。如果网站返回 403 或超时，请标记为“不可访问”而非“被屏蔽”。输出一个表格，包含列：URL、AI 爬虫状态（允许/屏蔽/不可访问）、缺失标签、备注。确保不对网站进行任何更改；这是只读分析。
来源报告未经独立核验。发布日期为本站案例发布日期，并非原始文章日期。