Nginx服务器高性能优化的配置方法小结
通常来说,一个优化良好的NginxLinux服务器可以达到500,000–600,000次/秒的请求处理性能,然而我的Nginx服务器可以稳定地达到904,000次/秒的处理性能,并且我以此高负载测试超过12小时,服务器工作稳定。
这里需要特别说明的是,本文中所有列出来的配置都是在我的测试环境验证的,而你需要根据你服务器的情况进行配置:
从EPEL源安装Nginx:
yum-yinstallnginx
备份配置文件,然后根据你的需要进行配置:
cp/etc/nginx/nginx.conf/etc/nginx/nginx.conf.orig vim/etc/nginx/nginx.conf
#Thisnumbershouldbe,atmaximum,thenumberofCPUcoresonyoursystem. #(sincenginxdoesn'tbenefitfrommorethanoneworkerperCPU.) #这里的数值不能超过CPU的总核数,因为在单个核上部署超过1个Nginx服务进程并不起到提高性能的作用。 worker_processes24; #NumberoffiledescriptorsusedforNginx.ThisissetintheOSwith'ulimit-n200000' #orusing/etc/security/limits.conf #Nginx最大可用文件描述符数量,同时需要配置操作系统的"ulimit-n200000",或者在/etc/security/limits.conf中配置。 worker_rlimit_nofile200000; #onlylogcriticalerrors #只记录critical级别的错误日志 error_log/var/log/nginx/error.logcrit #Determineshowmanyclientswillbeservedbyeachworkerprocess. #(Maxclients=worker_connections*worker_processes) #"Maxclients"isalsolimitedbythenumberofsocketconnectionsavailableonthesystem(~64k) #配置单个Nginx单个进程可服务的客户端数量,(最大值客户端数=单进程连接数*进程数) #最大客户端数同时也受操作系统socket连接数的影响(最大64K) worker_connections4000; #essentialforlinux,optmizedtoservemanyclientswitheachthread #Linux关键配置,允许单个线程处理多个客户端请求。 useepoll; #Acceptasmanyconnectionsaspossible,afternginxgetsnotificationaboutanewconnection. #Mayfloodworker_connections,ifthatoptionissettoolow. #允许尽可能地处理更多的连接数,如果worker_connections配置太低,会产生大量的无效连接请求。 multi_accepton; #CachesinformationaboutopenFDs,freqentlyaccessedfiles. #Changingthissetting,inmyenvironment,broughtperformanceupfrom560kreq/sec,to904kreq/sec. #Irecommendusingsomevarientoftheseoptions,thoughnotthespecificvalueslistedbelow. #缓存高频操作文件的FDs(文件描述符/文件句柄) #在我的设备环境中,通过修改以下配置,性能从560k请求/秒提升到904k请求/秒。 #我建议你对以下配置尝试不同的组合,而不是直接使用这几个数据。 open_file_cachemax=200000inactive=20s; open_file_cache_valid30s; open_file_cache_min_uses2; open_file_cache_errorson; #BufferlogwritestospeedupIO,ordisablethemaltogether #将日志写入高速IO存储设备,或者直接关闭日志。 #access_log/var/log/nginx/access.logmainbuffer=16k; access_logoff; #SendfilecopiesdatabetweenoneFDandotherfromwithinthekernel. #Moreefficientthanread()+write(),sincetherequirestransferringdatatoandfromtheuserspace. #开启sendfile选项,使用内核的FD文件传输功能,这个比在用户态用read()+write()的方式更加高效。 sendfileon; #Tcp_nopushcausesnginxtoattempttosenditsHTTPresponseheadinonepacket, #insteadofusingpartialframes.Thisisusefulforprependingheadersbeforecallingsendfile, #orforthroughputoptimization. #打开tcp_nopush选项,Nginux允许将HTTP应答首部与数据内容在同一个报文中发出。 #这个选项使服务器在sendfile时可以提前准备HTTP首部,能够达到优化吞吐的效果。 tcp_nopushon; #don'tbufferdata-sends(disableNaglealgorithm).Goodforsendingfrequentsmallburstsofdatainrealtime. #不要缓存data-sends(关闭Nagle算法),这个能够提高高频发送小数据报文的实时性。 tcp_nodelayon; #Timeoutforkeep-aliveconnections.Serverwillcloseconnectionsafterthistime. #配置连接keep-alive超时时间,服务器将在超时之后关闭相应的连接。 keepalive_timeout30; #Numberofrequestsaclientcanmakeoverthekeep-aliveconnection.Thisissethighfortesting. #单个客户端在keep-alive连接上可以发送的请求数量,在测试环境中,需要配置个比较大的值。 keepalive_requests100000; #allowtheservertoclosetheconnectionafteraclientstopsresponding.Freesupsocket-associatedmemory. #允许服务器在客户端停止发送应答之后关闭连接,以便释放连接相应的socket内存开销。 reset_timedout_connectionon; #sendtheclienta"requesttimedout"ifthebodyisnotloadedbythistime.Default60. #配置客户端数据请求超时时间,默认是60秒。 client_body_timeout10; #Iftheclientstopsreadingdata,freeupthestaleclientconnectionafterthismuchtime.Default60. #客户端数据读超时配置,客户端停止读取数据,超时时间后断开相应连接,默认是60秒。 send_timeout2; #Compression.Reducestheamountofdatathatneedstobetransferredoverthenetwork #压缩参数配置,减少在网络上所传输的数据量。 gzipon; gzip_min_length10240; gzip_proxiedexpiredno-cacheno-storeprivateauth; gzip_typestext/plaintext/csstext/xmltext/javascriptapplication/x-javascriptapplication/xml; gzip_disable"MSIE[1-6].";
启动Nginx并配置起机自动加载。
servicenginxstart chkconfignginxon
配置Tsung并启动测试,测试差不多10分钟左右就能测试到服务器的峰值能力,具体的时间与你的Tsung配置相关。
[root@loadnode1~]vim~/.tsung/tsung.xml
<serverhost="YOURWEBSERVER"port="80"type="tcp"/>
tsungstart
你觉得测试结果已经够了的情况下,通过ctrl+c退出,之后使用我们之前配置的别名命令treport查看测试报告。
WEB服务器调优,第二部分:TCP协议栈调优
这个部分不只是对Ngiinx适用,还可以在任何WEB服务器上使用。通过对内核TCP配置的优化可以提高服务器网络带宽。
以下配置在我的10-Gbase-T服务器上工作得非常完美,服务器从默认配置下的8Gbps带宽提升到9.3Gbps。
当然,你的服务器上的结论可能不尽相同。
下面的配置项,我建议每次只修订其中一项,之后用网络性能测试工具netperf、iperf或是用我类似的测试脚本cluster-netbench.pl对服务器进行多次测试。
yum-yinstallnetperfiperf vim/etc/sysctl.conf
#IncreasesystemIPportlimitstoallowformoreconnections #调高系统的IP以及端口数据限制,从可以接受更多的连接 net.ipv4.ip_local_port_range=200065000 net.ipv4.tcp_window_scaling=1 #numberofpacketstokeepinbacklogbeforethekernelstartsdroppingthem #设置协议栈可以缓存的报文数阀值,超过阀值的报文将被内核丢弃 net.ipv4.tcp_max_syn_backlog=3240000 #increasesocketlistenbacklog #调高socket侦听数阀值 net.core.somaxconn=3240000 net.ipv4.tcp_max_tw_buckets=1440000 #IncreaseTCPbuffersizes #调大TCP存储大小 net.core.rmem_default=8388608 net.core.rmem_max=16777216 net.core.wmem_max=16777216 net.ipv4.tcp_rmem=40968738016777216 net.ipv4.tcp_wmem=40966553616777216 net.ipv4.tcp_congestion_control=cubic
每次修订配置之后都需要执行以下命令使之生效.
sysctl-p/etc/sysctl.conf
别忘了在配置修订之后务必要进行网络benchmark测试,这样可以观测到具体是哪个配置修订的优化效果最明显。通过这种有效测试方法可以为你节省大量时间。
常见优化配置项
一般来说nginx配置文件中对优化比较有作用的为以下几项:
1.worker_processes8;
nginx进程数,建议按照cpu数目来指定,一般为它的倍数(如,2个四核的cpu计为8)。
2.worker_cpu_affinity0000000100000010000001000000100000010000001000000100000010000000;
为每个进程分配cpu,上例中将8个进程分配到8个cpu,当然可以写多个,或者将一
个进程分配到多个cpu。
3.worker_rlimit_nofile65535;
这个指令是指当一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文
件数(ulimit-n)与nginx进程数相除,但是nginx分配请求并不是那么均匀,所以最好与ulimit-n的值保持一致。
现在在linux2.6内核下开启文件打开数为65535,worker_rlimit_nofile就相应应该填写65535。
这是因为nginx调度时分配请求到进程并不是那么的均衡,所以假如填写10240,总并发量达到3-4万时就有进程可能超过10240了,这时会返回502错误。
查看linux系统文件描述符的方法:
[root@web001~]#sysctl-a|grepfs.file
fs.file-max=789972 fs.file-nr=5100789972
4.useepoll;
使用epoll的I/O模型
(
补充说明:
与apache相类,nginx针对不同的操作系统,有不同的事件模型
A)标准事件模型
Select、poll属于标准事件模型,如果当前系统不存在更有效的方法,nginx会选择select或poll
B)高效事件模型
Kqueue:使用于FreeBSD4.1+,OpenBSD2.9+,NetBSD2.0和MacOSX.使用双处理器的MacOSX系统使用kqueue可能会造成内核崩溃。
Epoll:使用于Linux内核2.6版本及以后的系统。
/dev/poll:使用于Solaris711/99+,HP/UX11.22+(eventport),IRIX6.5.15+和Tru64UNIX5.1A+。
Eventport:使用于Solaris10.为了防止出现内核崩溃的问题,有必要安装安全补丁。
)
5.worker_connections65535;
每个进程允许的最多连接数,理论上每台nginx服务器的最大连接数为worker_processes*worker_connections。
6.keepalive_timeout60;
keepalive超时时间。
7.client_header_buffer_size4k;
客户端请求头部的缓冲区大小,这个可以根据你的系统分页大小来设置,一般一个请求头的大小不会超过1k,不过由于一般系统分页都要大于1k,所以这里设置为分页大小。
分页大小可以用命令getconfPAGESIZE取得。
[root@web001~]#getconfPAGESIZE
4096
但也有client_header_buffer_size超过4k的情况,但是client_header_buffer_size该值必须设置为“系统分页大小”的整倍数。
8.open_file_cachemax=65535inactive=60s;
这个将为打开文件指定缓存,默认是没有启用的,max指定缓存数量,建议和打开文件数一致,inactive是指经过多长时间文件没被请求后删除缓存。
9.open_file_cache_valid80s;
这个是指多长时间检查一次缓存的有效信息。
10.open_file_cache_min_uses1;
open_file_cache指令中的inactive参数时间内文件的最少使用次数,如果超过这个数字,文件描述符一直是在缓存中打开的,如上例,如果有一个文件在inactive时间内一次没被使用,它将被移除。
关于内核参数的优化:
net.ipv4.tcp_max_tw_buckets=6000
timewait的数量,默认是180000。
net.ipv4.ip_local_port_range=102465000
允许系统打开的端口范围。
net.ipv4.tcp_tw_recycle=1
启用timewait快速回收。
net.ipv4.tcp_tw_reuse=1
开启重用。允许将TIME-WAITsockets重新用于新的TCP连接。
net.ipv4.tcp_syncookies=1
开启SYNCookies,当出现SYN等待队列溢出时,启用cookies来处理。
net.core.somaxconn=262144
web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值。
net.core.netdev_max_backlog=262144
每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目。
net.ipv4.tcp_max_orphans=262144
系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字,孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS攻击,不能过分依靠它或者人为地减小这个值,更应该增加这个值(如果增加了内存之后)。
net.ipv4.tcp_max_syn_backlog=262144
记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言,缺省值是1024,小内存的系统则是128。
net.ipv4.tcp_timestamps=0
时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。
net.ipv4.tcp_synack_retries=1
为了打开对端的连接,内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量。
net.ipv4.tcp_syn_retries=1
在内核放弃建立连接之前发送SYN包的数量。
net.ipv4.tcp_fin_timeout=1
如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接,甚至意外当机。缺省值是60秒。2.2内核的通常值是180秒,3你可以按这个设置,但要记住的是,即使你的机器是一个轻载的WEB服务器,也有因为大量的死套接字而内存溢出的风险,FIN-WAIT-2的危险性比FIN-WAIT-1要小,因为它最多只能吃掉1.5K内存,但是它们的生存期长些。
net.ipv4.tcp_keepalive_time=30当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时。