我们已经准备好了,你呢?

2025我们与您携手共赢,为您的企业形象保驾护航!

robots.txt 是最容易被写错的一个文件,原因很简单:它的作用常被误解成「控制收录」。它只告诉爬虫可以不抓哪些路径,抓取和收录是两件事。

三条必须记住的语义

一,Disallow 不等于 noindex。被 Disallow 的页面抓不到,但仍可能因为站内或站外链接而被收录,而且标题和描述不完整,呈现效果比正常页面更差。真正要排除收录,应该在页面里输出 ,同时允许抓取,让爬虫读到这条指令。

二,规则按最长路径匹配生效。Disallow: /a/ 与 Disallow: /a/b/ 同时存在时,访问 /a/b/ 由更长的那条决定,与书写顺序无关。想「屏蔽整个目录但放开其中一个子目录」,靠的是写一条更长的规则,而不是靠顺序。

三,不支持正则和通配符匹配查询参数。多数爬虫只认 * 作简单通配、$ 作结尾匹配(且支持程度不一),指望它理解复杂模式通常会失败。

企业站的常用骨架

  • User-agent: *
  • Allow: /
  • Disallow: /admin(后台目录,实际更推荐加 IP 白名单或改路径,robots 不是安全手段)
  • Disallow: /cart/、Disallow: /search?(搜索结果页与购物流程)
  • Sitemap: https://你的域名/sitemap.xml

要点:Sitemap 声明使用绝对地址;一行一条规则,不要挤在一起;文件用 UTF-8 无 BOM 保存。

五种高频失误

  • 整站禁抓后忘了改回来。常见于测试环境或上线初期加的 Disallow: /,检查方法是直接访问 https://域名/robots.txt 看返回内容。
  • 把测试环境带到生产。预发布域名下挂着 X-Robots-Tag: noindex 或生产 robots 指向测试地址。
  • 屏蔽了带参数的版本,却把规范版本也一起屏蔽。比如为了去重写了 Disallow: /?s=,结果整站的参数抓取全停。
  • 屏蔽了图片、CSS、JS 目录。爬虫无法渲染页面,会影响对页面质量的判断,这类目录不要 Disallow。
  • 误以为 robots.txt 能保护隐私。它是公开文件,任何人可以看到你不希望被抓的路径,敏感目录请用鉴权而不是 robots。

验证的三步做法

第一步,肉眼核对文件本身。访问 robots.txt,确认可读、无乱码、不是 404。

第二步,用爬虫工具做站点级检测。主流搜索引擎的控制台都提供 robots 检查器,输入规则与测试 URL 能看到生效结果。

第三步,检查响应头。用 curl -sI https://域名/ | grep -i x-robots 确认没有意外的全局 noindex 头。

常见问题

问:AI 爬虫(如抓取模型训练数据的机器人)能屏蔽吗?
可以按 User-agent 单独列规则,但不同服务的标识名称不一定统一,屏蔽训练抓取和屏蔽搜索引用是两类决定,建议分别确认后再写。

问:子域名要单独写 robots.txt 吗?
需要。每个子域名各自一份,主域的文件不作用于子域,这点在城市分站或独立商城场景里很容易漏。

我们凭借多年的网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为4000多家客户提供品质建站服务,得到了客户的一致好评。如果您有网站建设、网站改版、域名注册、主机空间、手机网站建设、网站备案等方面的需求...
请立即点击咨询我们或拨打咨询热线: 400-000-1828,我们会详细为你一一解答你心中的疑难。项目经理在线

我们已经准备好了,你呢?

2025我们与您携手共赢,为您的企业形象保驾护航!

免费获取建站 / 仿站报价

留下需求与联系方式,工作日 1 小时内回电;仿站请直接附上目标网址,我们按页面结构给到明细报价。

或直接拨打 400-000-1828
在线客服
联系方式

热线电话

19903420774

上班时间

周一到周五

公司电话

400-000-1828

二维码
微信
在线客服
×
扫码咨询
微信二维码
咨询建站服务,领取现金红包