建议收藏,这份 robots.txt 可以屏蔽垃圾蜘蛛流量

Mr.zhu Mr.zhu 2025-08-20 17:31:08 来源:一直播 (www.yizhibo.com) 阅读:16

曾经有段时间,我的网站每天都在消耗巨大的流量,然而一查日志,发现都是一些垃圾蜘蛛。

这些垃圾蜘蛛除了消耗服务器资源不对给我们带来任何好处,最好直接屏蔽。

我写了一份 robots.txt 来屏蔽常见的垃圾指数,分享给大家,建议收藏。


User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: MauiBot
Disallow: /

这份 robots.txt 规则能屏蔽哪些爬虫?

User-agent所属公司/项目主要用途被禁止的原因
AhrefsBot
Ahrefs
用于收集网页数据以进行SEO分析和反向链接检查。
可能消耗大量服务器资源,影响网站性能。
MJ12bot
Majestic-12
爬取网页以建立链接索引,支持Majestic搜索引擎的链接分析功能。
高频爬取可能导致服务器负载过高。
DotBot
DotNetDotCom.org
为SEO工具提供数据支持,收集网页信息。
爬取行为可能过于频繁,影响正常访问。
SemrushBot
Semrush
收集数据以支持SEO竞争分析、关键词研究等营销工具。
大量爬取可能导致资源占用过高。
ZoominfoBot
ZoomInfo
收集企业联系信息和公开数据,用于商业数据库。
可能抓取非公开信息或导致隐私问题。
BLEXBot
Content ad
爬取网页内容以生成广告或内容推荐。
可能抓取敏感内容或消耗过多带宽。
aiHitBot
aiHit
为aiHit公司收集企业数据,用于商业数据库。
爬取频率高或目标数据可能涉及隐私。
Mail.RU_Bot
Mail.RU (俄罗斯邮件服务)
为Mail.ru搜索引擎索引内容。
可能因爬取策略激进被网站屏蔽。
XoviBot
Xovi (SEO工具)
支持Xovi的SEO分析工具,爬取网页数据。
高频请求可能干扰正常服务。

完整规则如下(建议直接复制使用):

如何应用这份规则?

  1. 登录服务器,找到网站根目录。
  2. 创建或修改 robots.txt,粘贴上述规则。

你还建议屏蔽哪些呢?欢迎给我留言!

猜你想看

小时候常见却又叫不上名的植物,你认识吗?​​​​
北斗全球组网,金一南:后来者居上,功能强大
火爆全网的醋酸面料到底是什么?和真丝有什么区别?
自动挡的S档怎么用?切换时需要停车吗?新手司机要了解一下
双11买哪种65英寸电视更好?7款机型具体分析,总有一款适合你
装修中这6件家具没必要买,不光白花钱,关键是不实用
“超车看车头,会车看车尾”是什么意思?内行:建议搞明白再上路
抑郁症的常见表现有哪些?
办理退休手续后,有4件事最好别忽视,以免影响自身待遇享受
自动挡有“三不准”,很多车主不知道?
世界上最奢侈的6种“土生”食物,吃过3种算你牛
6张对比图告诉你,什么样的家庭最幸福
30条剥皮鱼,半碗大蒜头,教你特简单的做法,出锅比小龙虾还美味
居民医保一年减少2500万人,为什么有人主动退保?
空调漏水怎么办?别慌!我来教你
住房公积金的提取条件、提取金额是多少?
四轮定位、轮胎动平衡、车轮换位,它们几个究竟有什么区别?
跑步真的可以减肥瘦身吗?
识别女人对你没兴趣的信号,避免白费力气!
企业邮箱如何添加置顶公告

推荐站点