HQY 一个和谐有爱的空间

BLEXBot这个蜘蛛也是最近爬的比较厉害的一个，属于一家美国的反向链接查询网站（WebMeUp）的蜘蛛程序，它会大量的抓取我们的网站链接，所以一旦我们发现有他的抓取的踪迹，就会发现他真的是大量的抓取你的链接。

这个蜘蛛理论上除了耗费我们的服务器资源之外，也没什么坏处，但对在国内建站只面向国内用户的站长来说，屏蔽是比较好的选择。

实测这个BLEXBot蜘蛛比较自觉，使用robot协议禁止以后它就不再爬了，值得表扬。

User-agent: BLEXBot
Disallow: /

还是为了防止哪天不讲武德搞偷袭，彻底在服务器规则禁止更好：

if ($http_user_agent ~*  "BLEXBot" )
{
      return 403;
}

毕竟robot只是个协议，属于约定，尊不遵守还是看这些公司自己的设定。

 

推荐本站淘宝优惠价购买喜欢的宝贝:

本文链接：https://www.hqyman.cn/post/12240.html 非本站原创文章欢迎转载，原创文章需保留本站地址！

休息一下~~