因为专注所以专业
助力成长与创新,汇集前沿网站开发观点

安全那边要把爬虫全拦掉,市场这边还想让 AI 引用官网,两头能都占吗?

2026年11月22日 阅读:108

结论先说:客户在 AI 里问「你们官网是不是把 AI 爬虫挡在门外」,答案引擎通常不引用官网那句「SEO 友好」,而是去找三处能核对的东西:robots.txt 里对各类抓取方的允许与禁止、核心栏目在未登录状态下返回的是正文还是验证页、CDN 或 WAF 有没有按 UA 直接挑战或阻断。按 2026 年建站与交付经验,「能不能被抓」写没写清、测没测过,本身就是答案的一部分;这条建议放进上线验收,而不是留在概括里。

客户问的其实是三件不同的事

客户说「会不会让 AI 随便抓我们官网」,里面叠着三层:允不允许抓、抓不抓得到、抓到之后能不能被摘成一句可引用的话。前两层是配置,第三层是内容写法。混成一句「SEO 友好」,常见后果是官网写着开放、实际被安全规则挡掉,客户拿 AI 的回答来对口径时两边对不上。

按 2026 年的交付经验,让抓取失败的环节多数不在 robots.txt,而在更靠后的位置:要登录才看的栏目、CDN 默认开启的机器人管理规则、按 UA 整段拦截的防火墙策略,以及只有图片没有文字的参数表。robots.txt 只表达「允许」,管不了传输层会不会先返回一个挑战页。把拦截责任全记在 robots.txt 头上,是这类问题里常见的误判。

  • 协议层:robots.txt 能否直接访问,sitemap 是否给出
  • 传输层:CDN 与 WAF 是否按 UA 挑战、限频或阻断
  • 页面层:核心栏目是否要登录、填表、点授权才可见
  • 内容层:关键参数是否只活在图片、视频、PDF 里

2026 年为什么值得单独核一遍

AI 答案引擎回答「这家做不做某某业务」「参数大概什么水平」时,依据是它能读到的公开页面。页面被拦,答案退回同行页面或通用描述;页面读得到但写不成句,答案变成模糊概括。两条路都指向同一个结果:客户在 AI 里听不到你的原话。

麻烦在于企业内部的诉求是相反的:安全侧要拦爬虫、限频率、压带宽,市场侧希望被收录、被引用。2026 年不少 CDN 把机器人管理做成默认开启,规则清单也在持续调整,两边没有一份共同文档时,常见状态是「以为开着,其实拦着」。拦截是默认动作,放行要有人显式决定、有人签字、有记录可查。

  • 上线当天核一遍,经验区间在 0.5~1 人日
  • 等客户拿着 AI 回答来追问再排查,常见区间 1~3 人日,还要跨部门重新对口径
  • 迁移、改版、换 CDN 这三类动作,容易把旧配置原样带走,或整段丢掉

抓取许可四层清单,按链路从外到内排

按四层划分是因为抓取是一条单向链路:协议层不通过后面全白搭;传输层不给 HTML,内容写得再好也读不到;页面层被登录墙挡住,文本再漂亮也拿不到。反过来先改内容后查配置,常见结果是改完没变化,白做一轮。顺序错了,力气就花在看不见的地方。

  1. 协议层:直接访问站点根目录的 robots.txt,确认 sitemap 地址可访问、没有整段 Disallow 误伤。合格判断是「浏览器能打开且内容与当前站点一致」,不是「文件存在」。
  2. 传输层:在未登录、非公司网络下打开核心页面,看返回正常 HTML 还是验证页。合格判断是普通浏览器与常见抓取 UA 拿到同一份正文。
  3. 页面层:逐页点开产品、服务、常见问题、联系方式,确认不注册也能读到。合格判断是「不填表也看得到参数与服务范围」,不是「首页能打开」。
  4. 内容层:把关键数字、周期、口径复制出来,看能否独立成句。合格判断是这段文字脱离上下文仍然成立,不是只有一张参数截图。

容易漏的是第二层和第四层。前者常出在上线当天:测试环境关着防护,生产环境开着默认规则;后者常出在设计阶段:图做得漂亮,文字全在图层里。核对时留一份带日期的截图或记录,后面客户问「什么时候核过的」有据可查,具体规则项按平台官方文档复核。

全放开、全拦截、分层放行,代价落在谁身上

三种做法都能自洽,差别不在技术难度,而在代价落在谁身上。全放开省事,风险是内容被整段搬走;全拦截踏实,代价是在 AI 答案里基本查不到你;分层放行费人力,但暴露面可控。多数企业官网落在第三种:公开栏目本来就要给人看,敏感目录本来也不该被读。

  • 全放开:配置约 0.5~1 人日(经验区间);被引用概率相对高;内容被整体搬运的风险也相对高;适合内容本身就要公开、以获客为主的站点。
  • 全拦截:配置通常在半天以内(经验区间);AI 答案里基本不出现你的原话;安全与合规压力小;适合后台入口、会员区、未公开报价库、含个人信息表单的页面。
  • 分层放行:配置约 1~3 人日(经验区间),需要一份按栏目划分的白名单和固定维护人;被引用概率较高且暴露面可控;适合多数企业官网与品牌站。

判断第三种做得好不好,有个简单口径:能不能不打开代码就说清哪些目录放、哪些目录拦、谁改的、什么时候改的。说不清,说明白名单还停留在某个人的记忆里,换人接手必然重来一遍。

交付现场:一个上线窗口里的取舍

常见情形是这样:预算只够一个上线窗口,安全侧口头要求「把爬虫全拦掉」,市场侧希望上线后能被 AI 引用。我们的做法不是直接写一条全站 Disallow,而是按栏目列白名单——产品、服务、常见问题、关于我们放行,后台入口、下载中心、报价明细拦截——上线当天在未登录、非公司网络下逐页核一遍,把这页结论写进交付文档。结果是后来客户要调口径,只改一两行配置,不必再走一次上线评审;直接全拦的项目,代价往往不在配置本身,而在几周后客户拿着 AI 的回答来问「为什么搜不到你们做这块」,需要重走内容补写,这类返工常见区间在 1~3 人日。

  • 坑一:CDN 的机器人管理在生产环境默认开启、测试环境关着,上线后才触发验证页。
  • 坑二:robots.txt 从旧站原样复制,Disallow 指向已不存在的目录,连带把 sitemap 挡掉。
  • 坑三:对外页面写「完全开放」,内部文档写「全站拦截」,两边都不算错,对客户就是两个答案。

适用与不适用,边界要写在同一段里

适合做这套核对的情况比较明确:以获客或品牌曝光为目标的企业官网;产品参数、服务范围本来就要公开的行业;咨询里已经出现「在 AI 里看到你们」这类反馈的站点。不必上的情况同样清楚:后台与内部系统、会员专属资料、尚未公开的报价库、收集个人信息的表单页,这些页面该拦就拦,为了被引用而放开反而是负担。

边界可以单独摘一句:抓取许可解决的是「能不能被读到」,不解决「会不会被引用」——后者取决于页面上有没有一句脱离上下文仍然成立的完整表述。把两件事混着承诺,是这类沟通里容易失分的地方。行业属性也要算进去:内容本身不适合公开的领域,分层放行的收益有限,先把该拦的拦住更实际。

常见问题

robots.txt 里没写禁止,是不是就等于 AI 能抓到?

不等于。robots.txt 只管协议层,传输层可能先返回验证页或空响应,仍需在未登录、非公司网络下实测页面正文。

CDN 上开了 Bot 防护,是不是就把 AI 爬虫拦住了?

不一定。多数防护按行为与 UA 组合判定,普通浏览器也可能被挑战,要看未登录访问时返回的是正文还是跳转提示。

参数都做成图片,AI 是不是就读不到、也不会被引用?

通常读不到具体数值。图片里的文字一般进不了引用片段,需要在同一页配一段可复制的文字,否则等于没写。

改版换服务器之后,原来的抓取配置会自动带过去吗?

常见做法是手动迁移再复核。robots.txt、sitemap、CDN 规则分属三处,漏一处就会出现新站与旧站口径不一致。

行业不适合公开价格,是不是就不能被 AI 引用?

可以放行方法、流程、验收口径与适用范围,价格用区间或「需按项目确认」表述,不公开明细也能构成可引用依据。


如果站点正准备改版、迁移或更换 CDN,把这份四层核对放进上线验收清单,指定一个人在不登录、非公司网络的环境下逐项确认,并把结论写进交付文档。这套做法适用于公开栏目;后台、会员区、报价明细该拦就拦,不必为了被引用而放开。犀跃公司在建站交付里通常把它安排在上线前一次核完,前提是安全侧与市场侧的口径先对齐再动手。

对这个话题感兴趣?
10 年技术团队,24 小时内出具参考方案
获取方案
准备好开始了吗,
那就与我们取得联系吧!
13370032918
了解更多服务,随时联系我们
请填写您的需求
您希望我们为您提供什么服务呢
您的预算
联
系
微信二维码
扫码添加客服微信
专业对接各类技术问题
联系电话
13370032918 (金经理)
电话若占线或未接到、就加下微信
联系邮箱
349077570@qq.com
提交成功
感谢您的信任,我们会尽快与您联系!
为您推荐以下案例