A-A+

网站日志出现大量SemrushBot,这是个什么鬼

2018年04月03日 互联网文摘 暂无评论 阅读 0 views 次

突然发现站点的日志增大,出现大量的SemrushBot爬虫,而且还是漫无目的乱爬,访问不正常的URL,比如不存在的页面,比如后面再给你多加一些字符等等,根本就不是个正常的蜘蛛,而且还占用服务器的资源。

先来看一下这个SemrushBot爬取的页面,如下图:

网站日志出现大量SemrushBot,这是个什么鬼

根本就不存在的页面也被SemrushBot爬了,真不知道这个东东想要干什么,甚至有的时候都会爬upload里面的图片目录,在里面找html页面,我也是服了。

好了,从网上找找这东西是个什么鬼吧,说得简单点就是一款搜集和谷歌SERP相关的信息,可能就是一款分析你站点,收集你站点内容的怎么一款软件吧,而且还是个国外的软件,可以说这东西完全没用。

所以为了不让这SemrushBot爬虫在站点随意抓取信息,还是要把这个爬虫给禁止掉的,还是老方法,直接在robots.txt文件中添加屏蔽信息,如下:

User-agent: SemrushBot

Disallow: /

User-agent: SemrushBot-SA

Disallow: /

目前暂不知道这货遵不遵循robots规则,先加上去再看吧,问题应该不大,如果把它给禁止了还来抓取,这就可以定义为恶性软件了。

标签:

给我留言

Copyright © 夏日博客 保留所有权利.   Theme  Ality 冀ICP备15026943号-3

用户登录