关注公众号:站长笔记网；下载资源请登录电脑端体验更佳:www.zzbj.net
最近站长笔记网被国外很多IP进行访问，有一段时间多大千万次请求，看样子又不像攻击，经过查看网站日志分析出来是一个叫SemrushBot的网站请求。
SemrushBot是什么呢？百度了下，说是国外一个营销机构，针对SEO的分析进行到处爬取网站。
这个是百度的说明：
SemrushBot是SEMrush的服务器搜索蜘蛛
不过对中文网站没有什么用
SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。
爬取 User-Agent
Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)
如何拦截这个呢？回复查看
隐藏内容需要回复可以看见
回复
看看
一个帅B
本地生活平台的自媒体流量入口，百度搜索+微信私域......
谢谢
爬虫太讨厌了！
搜索引擎还好，其它的爬虫根本不遵守robot规则
答复水岸东方
学习