在Nginx服务器上屏蔽IP的一些基本配置方法分享
采集和防止采集是一个经久不息的话题,一方面都想搞别人的东西,另一方面不想自己的东西被别人搞走。
本文介绍如何利用nginx屏蔽ip来实现防止采集,当然也可以通过iptable来实现。
1.查找要屏蔽的ip
awk'{print$1}'nginx.access.log|sort|uniq-c|sort-n
nginx.access.log为日志文件,
会到如下结果,前面是ip的访问次数,后面是ip,很明显我们需要把访问次数多的ip并且不是蜘蛛的ip屏蔽掉,本例当中我们屏蔽掉
165.91.122.67 ... 13610202.112.113.192 95772180.169.22.135 337418219.220.141.2 558378165.91.122.67
2.在nginx的安装目录下面,新建屏蔽ip文件,命名为blockip.conf,以后新增加屏蔽ip只需编辑这个文件即可。加入如下内容
deny165.91.122.67;保存一下。
3.在nginx的配置文件nginx.conf中加入如下配置,可以放到http,server,location,limit_except语句块,需要注意相对路径,本例当中nginx.conf,blocksip.conf在同一个目录中。
includeblockip.conf;
4.重启一下nginx的服务:/usr/local/nginx/nginx-sreload就可以生效了。
高级用法:
屏蔽ip的配置文件既可以屏蔽单个ip,也可以屏蔽ip段,或者只允许某个ip或者某个ip段访问。
#屏蔽单个ip访问 denyIP; #允许单个ip访问 allowIP; #屏蔽所有ip访问 denyall; #允许所有ip访问 allowall; #屏蔽整个段即从123.0.0.1到123.255.255.254访问的命令 deny123.0.0.0/8 #屏蔽IP段即从123.45.0.1到123.45.255.254访问的命令 deny124.45.0.0/16 #屏蔽IP段即从123.45.6.1到123.45.6.254访问的命令 deny123.45.6.0/24
如果你想实现这样的应用,除了几个IP外,其他全部拒绝,
那需要你在blockip.conf中这样写
allow1.1.1.1; allow1.1.1.2; denyall;
单独网站屏蔽IP的方法,把includeblocksip.conf;放到网址对应的在server{}语句块,
所有网站屏蔽IP的方法,把includeblocksip.conf;放到http{}语句块。
屏蔽访问过于频繁的IP脚本需要根据实际的nginxlog格式,修改,取出访问IP和User-Agent.
在nginx配置文件中添加一条配置
include./vhost/blockip.conf;
脚本内容:
#!/bin/bash nginx_home=/usr/local/webserver/nginx log_path=/usr/local/webserver/nginx/logs tail-n50000/usr/local/webserver/nginx/logs/access.log\ |awk'{print$1,$12}'\ |grep-i-v-E"google|yahoo|baidu|msnbot|FeedSky|sogou"\ |awk'{print$1}'|sort|uniq-c|sort-rn\ |awk'{if($1>1000)print"deny"$2";"}'>$nginx_home/conf/vhost/blockip.conf /etc/init.d/nginxreload