→ 西部数码官网正品独享云虚拟主机火热促销中！买2年送一年，买3年送2年，买5年送5年！ ←
→ 如有资源无法下载，请第一时间联系站长QQ:23467321处理！诚信让我们共赢！
→ 为更好的沟通和解决用户需求，建议新老用户都采用QQ邮箱来注册账号！
→ 如有资源无法下载，请第一时间联系站长QQ:23467321处理！诚信让我们共赢！
→ 为更好的沟通和解决用户需求，建议新老用户都采用QQ邮箱来注册账号！
常见垃圾蜘蛛及屏蔽方法
今天查看服务器日志发现一些垃圾蜘蛛频繁抓紧网站页面，白白浪费服务器资源，屏蔽之!
垃圾蜘蛛定义
垃圾蜘蛛定义为对网站的品牌和流量没有任何实质性的帮助，并且给网站资源带来一定损耗的蜘蛛。这种蜘蛛会频繁抓取网站内容，并且利用内容做一些数据分析来达到他们的商业目的。
垃圾蜘蛛列表
SemrushBot，这是semrush下面的一个蜘蛛，是一家做搜索引擎优化的公司，因此它抓取网页的目的就很明显了。这种蜘蛛对网站没有任何用处，好在它还遵循robots协议，因此可以直接在robots屏蔽。
DotBot, 这是moz旗下的，作用是提供seo服务的蜘蛛，但是对我们并没有什么用处。好在遵循robots协议，可以使用robots屏蔽
AhrefsBot， 这是ahrefs旗下的蜘蛛，作用是提供seo服务，对我们没有任何用处，遵循robots协议。
MJ12bot，这是英国的一个搜索引擎蜘蛛，但是对中文站站点就没有用处了，遵循robots协议。
MauiBot，这个不太清楚是什么，但是有时候很疯狂，好在遵循robots协议。
MegaIndex.ru，这是一个提供反向链接查询的网站的蜘蛛，因此它爬网站主要是分析链接，并没有什么作用。遵循robots协议。
BLEXBot, 这个是webmeup下面的蜘蛛，作用是收集网站上面的链接，对我们来说并没有用处。遵循robots协议
等待增加
屏蔽方法
对于遵循robots协议的蜘蛛，可以直接在robots禁止。上面常见的无用蜘蛛禁止方法如下，将下面的内容加入到网站根目录下面的robots.txt就可以了
User-agent: AhrefsBot Disallow: / User-agent: DotBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: Uptimebot Disallow: / User-agent: MJ12bot Disallow: / User-agent: MegaIndex.ru Disallow: / User-agent: ZoominfoBot Disallow: / User-agent: Mail.Ru Disallow: / User-agent: SeznamBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: ExtLinksBot Disallow: / User-agent: aiHitBot Disallow: / User-agent: Researchscan Disallow: / User-agent: DnyzBot Disallow: / User-agent: spbot Disallow: / User-agent: YandexBot Disallow: / User-agent: CCBot Disallow: / User-agent: Applebot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: YandexBot Disallow: / User-agent: CensysInspect Disallow: / User-agent: MauiBot Disallow: /
