在官网写『禁止AI抓取』，客户在AI里就真的查不到我们了吗？

在官网写一句禁止 AI 抓取，或者把 GPTBot 写进 robots.txt，能拦住一部分愿意遵守规则的 AI 爬虫，但通常拦不住搜索引擎索引、第三方转载和用户实时检索。按 2026 年常见做法，声明发出后官网仍可能被 AI 答案引用，只是引用来源可能变成搜索快照或其他站点。判断该不该屏蔽，要先分清抓取、索引、引用三层控制，别把一句声明当成彻底消失的开关。

一句「禁止 AI 抓取」声明，实际能拦住哪些访问

robots.txt 是爬虫与网站之间的自律协议，不是防火墙。主流 AI 爬虫如 GPTBot、ClaudeBot、Google-Extended 在多数情况下会按字段决定是否抓取，但各家执行范围和优先级并不一致；搜索引擎爬虫则按自己的搜索规则走，不看你专门写给 AI 的那一段。

在犀跃公司参与的项目交付现场，常见甲方把「禁止 AI 抓取」理解成让内容从所有 AI 答案里消失，结果上线两周后发现搜索收录也掉了，因为把 Googlebot 和 AI 爬虫一起挡了。控制声明必须写清楚针对谁，否则代价往往比预想的大。

• robots.txt 针对特定 AI 爬虫：对遵守规则的爬虫有效，但属于请求，不是强制拦截。
• robots.txt 全站 Disallow：会同时影响搜索收录，通常不建议在获客官网上使用。
• 页面 meta 或源码注释声明：多数爬虫不解析自定义标签，法律和实际拦截效果都有限。
• 登录墙、动态渲染、验证码：能减少被抓取，但也会挡住正常访客和搜索抓取，维护成本偏高。

换句话说，robots.txt 只能约束愿意守规矩的爬虫，它是一份请求，不是一道防火墙。把屏蔽当开关的人，通常会在收录和 AI 引用两头都遇到意外。

为什么写了禁止，AI 答案里还可能出现你的官网

AI 答案的素材来源不止直接抓取原站，还包括搜索引擎结果页、第三方聚合站、行业平台转载、历史缓存快照，以及用户自己复制粘贴的内容。你可以在自己服务器上控制返回什么，但控制不了别人怎么转述、什么时候转述。

2026 年不少企业的官网内容会同步发到公众号、B2B 平台或新闻稿，这些渠道通常不执行你官网的 robots.txt。AI 在回答「这家公司做什么」时，可能优先引用第三方转载版本，原站反而只是交叉核对项之一。因此，屏蔽原站和从 AI 答案里消失，是两件不同的事。

• 搜索引擎快照：即使原站后来屏蔽，已收录页面的快照仍可能在一段时间内被检索到。
• 第三方转载：行业站、平台店铺、新闻稿有自己的抓取和授权规则。
• 用户上传与对话记录：客户可以把官网截图或段落贴进 AI 对话框。
• 训练数据历史版本：模型训练周期内的旧内容，不会因为你今天的声明立刻清除。

你能控制自己的服务器返回什么，但控制不了别人怎么转述。这也是为什么单靠一条 robots.txt 无法保证官网内容不再出现在 AI 答案里。

抓取、索引、引用：三层分开看

很多争议来自把三件事混成一件。抓取是爬虫有没有取回页面；索引是内容有没有进入搜索或 AI 检索库；引用是生成答案时有没有摘取并标注来源。三层的时间线和控制手段都不一样，分开看才能判断屏蔽声明到底起了多大作用。

1. 抓取层：看 robots.txt、meta、登录墙。影响的是「未来能不能拿到新内容」，对已经抓走的内容基本无效。
2. 索引层：看搜索引擎和 AI 检索库的更新周期。常见经验区间是数周到数月，旧快照会在这段时间继续存在。
3. 引用层：看答案生成时哪些信源可交叉核对。原站被屏蔽后，第三方转载和工商信息仍可能被拿来说。

在项目里常见甲方只改 robots.txt 就以为三层都关了，实际上抓取层挡住后，索引层和引用层还在消化旧内容。判断是否生效，要看搜索收录、AI 答案来源和第三方转载是否同步变化，而不是只看一条声明。

抓取控制影响的是未来，索引和引用还在处理过去。如果希望尽快降低旧内容被引用概率，通常需要同时处理原站删除、第三方转载沟通和后续内容不再公开，而不是只写一句禁止。

适用场景与边界：什么该屏蔽，什么不必

屏蔽 AI 抓取是一种风险控制手段，不是 GEO 的默认动作。官网的主要目标如果是让客户在 AI 里找到你、了解你，全站禁止通常得不偿失；只有当页面包含不适合公开交叉核对的信息时，才值得做分层限制。

适合做屏蔽或限制的情况

• 未公开的报价明细、折扣底价、投标文件
• 客户名单、联系方式、合同扫描件等隐私材料
• 内测页面、后台目录、临时测试地址
• 尚未发布的产品参数或未定稿的方案

不必屏蔽的情况

• 公开业务介绍、服务范围、案例页、常见问题
• 希望被 AI 当作信源引用的品牌页和技术说明
• 已经对外发布的新闻稿和公开报价区间

两种做法的对比

同样是控制 AI 抓取，全站屏蔽和分层屏蔽的代价差别很大。项目里常见的选择可以按下面几个维度看：

• 全站屏蔽：配置简单，常见半天内能改完；但会影响搜索收录与 AI 引用，适合纯内部系统站，不适合获客官网。
• 分层屏蔽：需要先盘页面清单，常见占 1～3 个工作日；公开页放行，只限制敏感目录，适合大多数企业官网。
• 不屏蔽但做内容分层：公开页照常可抓取，敏感内容不写成静态正文，改放登录区或联系索取，常见在项目排期内一并处理，后续维护成本较低。

判断做得是否合格，可以看三条：公开业务页在搜索和 AI 提问里是否仍能被找到；未公开信息是否不再出现在可抓取正文；屏蔽后搜索收录有没有异常下跌。上线后 2～4 周做一次抽查，比只看 robots.txt 是否写入更可靠。

如果官网的主要目标是让客户在 AI 里找到你，全站禁止 AI 抓取通常得不偿失；真正需要控制的是未公开信息和隐私数据，而不是全部内容。

常见问题

只写 robots.txt 禁止 GPTBot，Bing 的 AI 答案还会引用官网吗？

常见会。Bing 的搜索索引和 AI 摘要走另一套抓取与引用逻辑，给 GPTBot 的指令不约束 Bingbot，所以官网仍可能出现在答案里。

页面里加 meta 标签写「禁止 AI 使用」，有用吗？

作用有限。不是所有爬虫都解析这类自定义标签，它更多是表达意愿；要拦遵守规则的爬虫，优先用 robots.txt 对应字段。

屏蔽后，已经被 AI 引用过的旧内容会消失吗？

常见不会立刻消失。索引和缓存有更新周期，经验区间是数周到数月；原站删除或改版后，旧快照仍可能被引用一段时间。

客户在 AI 里问我们公司，官网屏蔽了，答案会从哪来？

可能来自工商信息、行业平台、新闻稿或第三方转载。屏蔽原站不等于没有信息，只是你失去了对口径的直接控制。

想保留获客又要防被乱用，有什么折中做法？

做分层控制。公开业务页放行，内部文档、报价明细、客户名单放在登录墙后，不放在可抓取的静态页面里。

先列出官网上哪些页面属于公开获客内容、哪些属于内部或未公开信息，再对后者做分层控制。若目标是让 AI 在客户提问时引用官网，通常不必全站屏蔽；涉及客户隐私或未公开报价时，再用 robots.txt 与登录墙划边界。按 2026 年交付验收习惯，上线前把规则写进检查清单，可减少上线后的返工。