nginx修改配置限制恶意爬虫频率
如何在nginx中限制恶意网络爬虫抓取内容呢?也就是限制下恶意爬虫的抓取频率。下面来一起看看。
今天在微博发现@金荣叶的处理方法很灵活,可以动态设定一个爬虫的频率,达到减轻服务器负载,并且不至于封杀爬虫。
#全局配置
limit_req_zone$anti_spiderzone=anti_spider:10mrate=15r/m;
#某个server中
limit_reqzone=anti_spiderburst=30nodelay;
if($http_user_agent~*“xxspider|xxbot”){
set$anti_spider$http_user_agent;
}
超过设置的限定频率,就会给spider一个503。
总结
以上就是nginx修改配置限制恶意爬虫频率的全部内容,希望对大家的工作和学习能有所帮助,如果有疑问可以留言交流。
热门推荐
1 训练狗狗憋尿
2 狗狗追踪训练
3 狗狗训练要多少钱
5 深圳狗狗训练
6 训练狗狗唤回
7 狗狗叫怎么训练
8 狗狗训练班
10 狗狗社会化训练
11 狗狗叫回训练
12 广州狗狗训练学校
13 狗狗训练躺下
14 狗狗随行训练
15 训练狗狗巡回
16 狗狗要怎么训练
17 狗狗喂食训练
18 训练狗狗躺下