nginx变量引发的故障
线上出现个故障,一台nginx会有502报出。可也不全是是502,而其他nginx却没有问题。 上去ps看了下,发现有个进程居然是刚启动的。这里也看到我们使用了dyups做nginx的服务发现。
1 | timo 770 2.0 0.1 219016 13520 ? Ss Jan19 4233:48 /usr/bin/python /data/apps/opt/nginx/sbin/dyups_nginx.py |
看了下操作系统日志,发现果然在50分35秒产生了一个oom的。而这个时间相当短,导致整个系统都没有内存使用的报警。而情况是当时有非常大的突发请求。
1 | Jun 15 15:50:35 ugp-nginx-server1 kernel: nginx invoked oom-killer: gfp_mask=0x2840d0, order=0, oom_score_adj=0 |
那么问题来了,worker进程重新启动会重新加载配置文件吗? 当然不会,看了下错误日志,这个后端在现在的环境里居然没有。

