• 注册
  • SEO教学 SEO教学 关注:6 内容:3

    突然新增的请求访问导致服务器卡死,SemrushBot是什么搜索蜘蛛爬虫?为什么大量访问站点。

  • 查看作者
  • 打赏作者
  • 9
  • SEO教学
  • LV.5
    SVIP
    靓号:666
    下载资源查看教程请登录电脑端打开体验更佳:www.zzbj.net

    最近站长笔记网被国外很多IP进行访问,有一段时间多大千万次请求,看样子又不像攻击,经过查看网站日志分析出来是一个叫SemrushBot的网站请求。

    SemrushBot是什么呢?百度了下,说是国外一个营销机构,针对SEO的分析进行到处爬取网站。

    这个是百度的说明:

    SemrushBot是SEMrush的服务器搜索蜘蛛

    不过对中文网站没有什么用

    SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。

    爬取 User-Agent

    Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)

    如何拦截这个呢?回复查看

    隐藏内容需要回复可以看见

    回复
    LV.4
    VIP
    靓号:56789
    赞助

    看看

    一个帅B

    回复
    忍不住看👀

    我们立志做本地生活平台的自媒体流量入口,百度搜索+微信私域......

    回复
    LV.0
    看看
    回复
    LV.0
    VIP
    谢谢
    回复

    谢谢

    回复
    LV.4
    VIP

    爬虫太讨厌了!

    搜索引擎还好,其它的爬虫根本不遵守robot规则

    回复

    答复水岸东方

    回复

    学习


    回复
    研究一下
    回复

    请登录之后再进行评论

    登录
  • 全站动态
  • 任务中心
  • 帖子间隔 侧栏位置: