Nginx服务器作反向代理实现内部局域网的url转发配置
情景
由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。
然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。
涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。
本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。
配置步骤
服务器ubuntu12.04
###更新仓库 apt-getupdate-y apt-getinstallwget-y #下载nginx和相关软件包
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。
cd/usr/local/src wget<ahref="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a> wget<ahref="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a> wget<ahref="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a> tarxfpcre-8.33.tar.gz tarxfzlib-1.2.8.tar.gz #安装编译环境 apt-getinstallbuild-essentiallibtool-y #创建nginx用户
所谓的unprivilegeduser
useradd-s/bin/false-r-M-d/nonexistentwww #开始编译安装 /configure--with-pcre=/usr/local/src/pcre-8.33--with-zlib=/usr/local/src/zlib-1.2.8--user=www--group=www\ --with-http_stub_status_module--with-http_ssl_module--with-http_realip_module make makeinstall #给文件夹授权 chown-Rwww:www/usr/local/nginx #修改配置文件 vimnginx.conf
userwwwwww; worker_processes1; error_loglogs/error.log; pidlogs/nginx.pid; worker_rlimit_nofile65535; events{ useepoll; worker_connections65535; } http{ includemime.types; default_typeapplication/octet-stream; include/usr/local/nginx/conf/reverse-proxy.conf; sendfileon; keepalive_timeout65; gzipon; client_max_body_size50m;#缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户 client_body_buffer_size256k; client_header_timeout3m; client_body_timeout3m; send_timeout3m; proxy_connect_timeout300s;#nginx跟后端服务器连接超时时间(代理连接超时) proxy_read_timeout300s;#连接成功后,后端服务器响应时间(代理接收超时) proxy_send_timeout300s; proxy_buffer_size64k;#设置代理服务器(nginx)保存用户头信息的缓冲区大小 proxy_buffers432k;#proxy_buffers缓冲区,网页平均在32k以下的话,这样设置 proxy_busy_buffers_size64k;#高负荷下缓冲大小(proxy_buffers*2) proxy_temp_file_write_size64k;#设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘 proxy_ignore_client_aborton;#不允许代理端主动关闭连接 server{ listen80; server_namelocalhost; location/{ roothtml; indexindex.htmlindex.htm; } error_page500502503504/50x.html; location=/50x.html{ roothtml; } } }
编辑反向代理服务器配置文件:
vim/usr/local/nginx/conf/reverse-proxy.conf
server { listen80; server_namexxx123.tk; location/{ proxy_redirectoff; proxy_set_headerHost$host; proxy_set_headerX-Real-IP$remote_addr; proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for; proxy_passhttp://192.168.10.38:3000; } access_loglogs/xxx123.tk_access.log; } server { listen80; server_namexxx456.tk; location/{ proxy_redirectoff; proxy_set_headerHost$host; proxy_set_headerX-Real-IP$remote_addr; proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for; proxy_passhttp://192.168.10.40:80; } access_loglogs/xxx456.tk_access.log; }
然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。
如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。
upstreammonitor_server{ server192.168.0.131:80; server192.168.0.132:80; } server { listen80; server_namenagios.xxx123.tk; location/{ proxy_redirectoff; proxy_set_headerHost$host; proxy_set_headerX-Real-IP$remote_addr; proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for; proxy_passhttp://monitor_server; } access_loglogs/nagios.xxx123.tk_access.log; }
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。
另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。
要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx:
在后端配置文件里面加入这一段即可:
log_formataccess'$HTTP_X_REAL_IP-$remote_user[$time_local]"$request"' '$status$body_bytes_sent"$http_referer"' '"$http_user_agent"$HTTP_X_Forwarded_For'; access_loglogs/access.logaccess;
再看看原来日志的格式长什么样:
#log_formatmain'$remote_addr-$remote_user[$time_local]"$request"' #'$status$body_bytes_sent"$http_referer"' #'"$http_user_agent""$http_x_forwarded_for"'; #access_loglogs/access.logmain;
看出区别了吧
遇到的问题
之前没配置下面这段,访问时候偶尔会出现504gatewaytimeout,由于偶尔出现,所以不太好排查
proxy_connect_timeout300s; proxy_read_timeout300s; proxy_send_timeout300s; proxy_buffer_size64k; proxy_buffers432k; proxy_busy_buffers_size64k; proxy_temp_file_write_size64k; proxy_ignore_client_aborton;
报错日志:
...upstreamtimedout(110:Connectiontimedout)whilereadingresponseheaderfromupstream,client:...(后面的省略)
从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。
PS:关于域名转发
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“URLFORWARDING”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。
已经注册成功的域名,若初设或取消URL转发设置,一般均在24-48小时之内生效。对于原有已经设置成功的URL转发域名,如果修改URL转发的目标地址,则只需1-2个小时即可生效。
不隐藏路径URL转发:例如:http://b.com/指向http://a.com/xxx/(任意目录);当在浏览器地址栏中敲入http://b.com/后回车,IE浏览器的地址栏里显示的地址会由原来您敲入的http://b.com/自动变为显示真正的目标地址http://a.com/xxx/;
隐藏路径的URL转发:例如:先同上,IE浏览器的地址栏里显示的地址保持不变,仍是http://b.com/,但实际访问到的是http://a.com/xxx/的内容。