一次网络带宽异常排查

早上看到有2个nginx服务器在6点多的时候带宽跑到100M多,整个磁盘io也都非常高。

因为现在都是vpc的服务器,内网公网都是在一个网卡上,随意一时也判断不出来到底是内网还是公网导致的。

查看对应的slb是否有异常。查看这个机器前面所有的slb发现流量都正常。

因为nginx的带宽是出口方向是100M的,那就是从本机往外传输,于是就看下nginx请求是否有异常,发现也都很正常。

查看整个集群的服务器的带宽是否有问题。发现整个集群里这个时间点只有这2个nginx的出,但是没有哪个服务器是进的。

因为这个机器对外服务端口只有web server,但是我们nginx又没有日志显示有那么多的流量。那基本可以确认是本机主动发起的对外请求。

查看本机的crontab和at是否有对应时间的。发现还是没有。

然后继续排查这个机器的登录日志,发现一个内网其他服务器的登录信息。

查看这个远程服务器的crontab是否有对应时间的。果然最后就是它了。原来它不是往其他服务器上传的,我说怎么没有找到对应流向的。