网站怎么彻底屏蔽拦截一些不遵守协议的国外搜索引擎蜘蛛爬虫抓取

有的站长没有安装付费防火墙，也经常被一些国外搜索引擎蜘蛛不尊重协议的抓取，站长服务器资源被大量占用，那么有什么办法可以测底解决呢？