建议收藏,这份 robots.txt 可以屏蔽垃圾蜘蛛流量

Mr.zhuMr.zhu2025-08-20 17:31:08来源:优站库 (www.uzkoo.com)阅读:94

曾经有段时间,我的网站每天都在消耗巨大的流量,然而一查日志,发现都是一些垃圾蜘蛛。

这些垃圾蜘蛛除了消耗服务器资源不对给我们带来任何好处,最好直接屏蔽。

我写了一份 robots.txt 来屏蔽常见的垃圾指数,分享给大家,建议收藏。


User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: MauiBot
Disallow: /

这份 robots.txt 规则能屏蔽哪些爬虫?

User-agent所属公司/项目主要用途被禁止的原因
AhrefsBot
Ahrefs
用于收集网页数据以进行SEO分析和反向链接检查。
可能消耗大量服务器资源,影响网站性能。
MJ12bot
Majestic-12
爬取网页以建立链接索引,支持Majestic搜索引擎的链接分析功能。
高频爬取可能导致服务器负载过高。
DotBot
DotNetDotCom.org
为SEO工具提供数据支持,收集网页信息。
爬取行为可能过于频繁,影响正常访问。
SemrushBot
Semrush
收集数据以支持SEO竞争分析、关键词研究等营销工具。
大量爬取可能导致资源占用过高。
ZoominfoBot
ZoomInfo
收集企业联系信息和公开数据,用于商业数据库。
可能抓取非公开信息或导致隐私问题。
BLEXBot
Content ad
爬取网页内容以生成广告或内容推荐。
可能抓取敏感内容或消耗过多带宽。
aiHitBot
aiHit
为aiHit公司收集企业数据,用于商业数据库。
爬取频率高或目标数据可能涉及隐私。
Mail.RU_Bot
Mail.RU (俄罗斯邮件服务)
为Mail.ru搜索引擎索引内容。
可能因爬取策略激进被网站屏蔽。
XoviBot
Xovi (SEO工具)
支持Xovi的SEO分析工具,爬取网页数据。
高频请求可能干扰正常服务。

完整规则如下(建议直接复制使用):

如何应用这份规则?

  1. 登录服务器,找到网站根目录。
  2. 创建或修改 robots.txt,粘贴上述规则。

你还建议屏蔽哪些呢?欢迎给我留言!

猜你想看

装修了3套房才发现,这10个地方最容易偷工减料,全是经验教训
新车为啥要露天停放?晒坏了卖给车主?厂家:都是为了你们好!
十日谈健康 | 泡脚是门学问
北京社保补缴一个月的流程是什么
新换的轮胎放在前轮还是后轮,搞反了出大事故
底盘被刮到了要检修吗
人生过的是心情,生活活的是心态
为什么电动车充满电很快,但一拧转把就掉2格电?正确原因找到了
这些化妆品冷知识,你知道吗?
离婚后还想要二胎,能找前夫再生一个吗?
中国10大名塔你都看过几座?中华文化瑰宝,有生之年一定要去看看
“对不起,公司真的不是家”
特别的三文治——芒果吐司,清新的口味,一起享受美好的早餐时光
日系完美尤物!今田美樱,实在是太美了太美了!
医保断缴有哪些影响,个人账户会清零吗,怎么办?
电车,油车,我们该怎么选择,是谁在左右消费者?
20款超美的气质发型!春夏季就这么留,显白又减龄
20万级探岳动力强劲,你了解吗?颗粒捕捉器有什么作用?
紫薯是转基因品种吗,能不能吃?来了解一下就知道了
打官司要花多少钱?可以打折吗?一文讲清

推荐站点