AI 搜索抓不到官网正文，先查 robots.txt 还是先改内容？

开篇结论：AI 搜索抓不到官网正文，robots.txt 常是入口问题。按 2026 年常见项目交付经验，若生产环境写了全站 Disallow，或把 GPTBot、Google-Extended、ClaudeBot、Bytespider 等抓取标识一并挡住，页面内容再完整也难被正常读取。核对顺序是：先打开生产环境文件，再按平台官方文档核对爬虫名，按目录精确放行，最后用日志验证。放行不等于会被引用，它只让 AI 搜索有机会读到正文。

先厘清：robots.txt 管抓取，不管引用

robots.txt 是给爬虫的访问协议，不是强制指令。AI 搜索抓取通常分训练用途和检索增强或生成答案时取片段两类，可能使用不同 User-Agent，规则分开读取。把训练爬虫和搜索爬虫混成一个名字判断，是常见误判。对希望被引用的官网，重点看搜索和生成式答案相关标识。若这些标识被 Disallow 挡住，AI 搜索只能引用缓存、第三方转载或不引用。放行后仍要经过可解析、可理解、可信度判断，所以它只是入口。

• User-Agent：不同平台使用不同爬虫名，按官方文档核对。
• Disallow：写成全站禁止或误伤内容目录，会直接影响抓取。
• Allow：可在 Disallow 下精确放行目标目录，注意顺序和路径匹配。
• Sitemap：配合站点地图帮助发现页面，但不是引用保证。

2026 年为什么要单独看 AI 爬虫

传统 SEO 时代，很多企业站只关心 Googlebot 和 Bingbot，robots.txt 写得比较粗。2026 年常见做法是把 AI 搜索爬虫单独列出来核对，因为生成式答案引擎更依赖实时或近实时取片段，屏蔽它们等于主动放弃一部分被引用机会。另一个现实原因是模板和外包交付的惯性：不少建站模板默认带规则，可能禁止后台、搜索参数页，也可能整站禁止后忘记改生产配置。上线时没人核对，AI 搜索抓不到正文，客户往往过几周才发现。

• 平台差异：训练、搜索、生成式答案使用不同爬虫标识，规则不通用。
• 交付惯性：模板默认规则从测试环境带到生产环境，是常见返工点。
• 影响面：挡住的若是内容目录，AI 搜索可用正文会明显减少。

放行与保留：目录怎么分

放行不是全站放开。可按业务公开程度把目录分成三档：完全公开、有条件公开、不公开。完全公开的是首页、产品页、服务页、案例页、FAQ、博客等；有条件公开的是筛选参数页、标签聚合页、多语言重复页；不公开的是后台、测试目录、会员中心、订单页、未发布内容。

• 适合放行：对外官网正文、产品参数、服务说明、常见问题、公司介绍。
• 适合保留：后台路径、临时目录、重复筛选参数、内部搜索页。
• 边界句：robots.txt 只管抓取，不管引用后的展示和排名；放行不等于一定被引用。

如果网站有大量筛选参数或分页，全部放行可能带来重复抓取，一刀切禁止又可能让 AI 搜索看不到列表产品。常见折中做法是放行主要分类和详情页，对参数组合页用 noindex 或 robots 规则限制，具体按平台规范核对。

可核对对比：三种策略与经验区间

方案对比可按三种策略看，重点是成本、周期和代价区间。

• 全站放行：配置简单，适合内容全部可公开的小站；代价是后台、重复页也可能被抓，清理成本常见区间为几小时到一天。
• 精确放行：按目录放行核心内容，保留后台和隐私目录；维护成本略高，核对和调整常见区间为半小时到半天，适合多数企业官网。
• 全站拒绝：只用于不对外或合规严格的内容；代价是 AI 搜索无法取到正文，后续恢复抓取常见区间为几天到几周，严重时更久。

经验区间只表示常见项目观察，不是承诺。策略选择看内容公开程度和合规要求。若站点主要是内部系统，不必为 AI 爬虫专门放行。

一套可核对的框架：放行—验证—留痕

1. 放行：列出目标 AI 平台官方爬虫标识，再按目录写 Allow，避免全站 Disallow 后忘记放行。注意大小写、路径结尾斜杠和规则顺序。
2. 验证：打开生产环境 robots.txt，确认返回 200 且内容正确；再用服务器日志或平台站长工具查爬虫访问记录，不要只看配置文件。
3. 留痕：把爬虫名、放行目录、修改日期和核对人写进交付清单。改版、换域名或换 CMS 时按清单复核，避免旧规则被覆盖。

每步注意点不同：放行阶段容易漏掉新爬虫标识；验证阶段容易被 CDN 或 WAF 拦截迷惑，因为拦截发生在 robots 之前；留痕阶段要记录规则意图，而不是只存文件。

交付现场：模板默认规则与返工代价

在项目里常见的情况是：预算和周期都紧，站点用模板默认 robots.txt，里面可能写了全站禁止，或者只禁止后台却忘了放行文章目录。甲方常卡在“先上线再说”。常见做法是只放行核心内容目录，屏蔽后台和测试路径，用现成日志查爬虫访问，不整体重构。若跳过核对，上线后 AI 搜索无引用，返工时要改 robots、提交站点地图并等重新抓取，按经验区间常见会多出两周到一个月。我们在建站交付时会把这一条放进验收清单，减少后续反复。

适用与不适用边界

这套核对适合希望官网被 AI 搜索引用的企业站、B2B 官网、外贸站和产品服务页，也适合改版、换域名或迁移 CMS 后的复查。若站点本身就是内部系统、会员内容或不对外公开，不必为 AI 爬虫专门放行，保持现有隔离更重要。

• 适合：对外官网、产品参数、服务说明、FAQ、案例页，且内容本身适合公开。
• 不适合：内部系统、测试站、含隐私数据的会员区、未公开报价或合同页面。
• 边界句：robots.txt 只解决抓取入口，不解决内容质量、页面可解析和信源选择；放行后仍可能因为内容不可独立回答而不被引用。

常见问题

robots.txt 里没有禁止 AI 爬虫，为什么 AI 搜索还是不引用官网？

抓取只是入口，还要看页面能否解析、内容是否可独立回答、站点是否被索引，以及平台是否选择你的页面做信源。

GPTBot 和 Google-Extended 要分别放行吗？

要。它们是不同平台的抓取标识，规则各自读取；只放行一个不等于其他 AI 爬虫能访问，具体以官方文档为准。

全站 Disallow 改成 Allow 后，AI 搜索多久会重新抓取？

没有统一时间表，常见经验区间是几天到几周，取决于平台抓取频率和站点更新；可提交站点地图并观察日志。

robots.txt 能阻止 AI 搜索引用已经收录的内容吗？

不能完全阻止。它主要限制后续抓取；已被缓存或第三方转载的内容仍可能被引用，敏感内容应提前隔离。

小网站有必要为 AI 爬虫单独写规则吗？

有。至少检查默认规则有没有全站禁止；用少量 Allow 放行核心页面即可，不必为每个爬虫写复杂规则。

行动指引：先打开生产环境 robots.txt，确认没有全站禁止，再按平台官方文档核对 AI 爬虫名，放行核心内容目录，保留后台和隐私路径，最后用日志验证。适用边界：适合对外官网和内容可公开站点；内部系统、会员区和未公开数据不必放行，优先做隔离。