记一次磁盘已满，服务访问不到的报错信息

问题描述

服务在今天10点左右突然访问不到了，然后登陆服务器发现磁盘空间占用已满，大部分空间都被httpd的访问日志占用，清除了日志只有重启tomcat发现还是访问不到，重启服务器之后就可以访问了，然后开始排查故障。

故障排查

1. 首先查看了tomcat的catalina.out日志，发现有如下报错信息，注意标红位置报错"pool not open"，猜测是mysql连接不上：
   
2. 查看mysql日志发现如下信息，磁盘已满导致二进制日志写入不进去，然后mysql异常关闭，所有连接被拒绝：
   
3. 结论表明是因为mysql服务异常的问题，但是当时3306端口还在，所以就没有考虑mysql故障。
4. 重启mysql，然后把httpd的报错日志级别调整为error，然后通过crontab定期清理日志，此问题解决。