一、前言
nginx服务器老是报告TIME_WAIT 告警, ESTABLISHED 告警,检查nginx配置和系统网络配置发现现有的配置并发能力太弱,无法满足现有的并发请求的需求。
二、解决方法
1. 改进方法
a、使用epoll模式,增加并发连接数,增加nginx系统并发连接能力。@b@b、后端使用长连接, 提高端口利用率,减少TIME_WAIT状态比例, 使系统可以允许更多的TIME_WAIT.@b@c、优化tcp连接工作模式,减少FIN2_WAIT状态比例 (对应监控中的OTHERSTATE)。@b@d、合理的设置监控参数
2. 配置操作
2.1 打开nginx/conf/nginx.conf配置文件,对其中events的worker_connections、multi_accept、accept_mutex等参进行调优,如下所示
原配置
events {@b@ worker_connections 1024;@b@}
优化为
events {@b@ use epoll; #支持大量连接和非活动连接@b@ worker_connections 32768; @b@ multi_accept on; #nginx在已经得到一个新连接的通知时,接收尽可能多的连接@b@ accept_mutex on; #防止惊群现象发生,默认为on@b@}
优化说明
使用epoll模式,将连接从现在的2048增加到32768,Epoll模式将提高并发连接到100K级别, 而且非活跃的连接(连接正常但没有数据或死的连接对象)数量不影响活跃连接的性能。
2.2 upstream中使用keepalive,如下
upstream httpproxy{ @b@ server 192.168.1.14:8080; @b@ server 192.168.1.15:8080;@b@ keepalive 128; @b@}
2.3 系统优化
[root@CsadfZ999739 nginx]# vi /etc/sysctl.conf @b@net.ipv4.tcp_fin_timeout = 20@b@#net.ipv4.tcp_keepalive_time =300 # 5分钟发个激活包,应对移动端, 现在不需要,因为有F5@b@fs.file-max = 163840 #增加文件数@b@net.ipv4.tcp_max_syn_backlog = 8192 #表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。 @b@:wq @b@[root@CsadfZ999739 nginx]#/sbin/sysctl @b@@b@#监控参数设置@b@ESTABLISHED: 连接数 2万 @b@TIME_WAIT: 只监控nginx与后端服务器连接部分 5000 全部的端口>2万@b@OTHERSTATE: 5000