事故经过:网站突然无法正常使用,php子进程骤高,询问开发无改动代码,查看cpu,内存均无异常,最后查看磁盘使用率100%,然后通过top查看是php进程导致,就一直在查找代码问题,均无收获,最后实在没辙了,老大说删除下日志试试吧,删完后网站恢复正常。突然想到一个东西inode,当时由于没有常看inode使用量,猜测是因为inode导致。一个月后看下inode增长量吧!
经历的误区:通过iostat查看IO使用率为100%,查看阿里云监控磁盘读写每秒一百兆,通过iotop查看是php进程导致的,所以一直在找代码问题!
工作这么长时间最坑人的坑