Linux服务器磁盘占满问题解决

下面我们一起来看一篇关于Linux服务器磁盘占满问题解决（/dev/sda3 满了），希望碰到此类问题的人能带来帮助。

今天下班某电商技术部leader发现个问题，说他们服务器硬盘满了。把日志文件都删掉了，可硬盘空间依旧满。于是df -h查看了下各个挂载点的状况（如下图）。

/dev/sda3占用了100%，那么我们du -s -h ./*看下目录的占用情况（如下图）。

 在工作中，我们也许会遇到这样的问题，发现某个磁盘空间快满了，于是，找到一些无用的大文件将其删除后，发现磁盘空间还是没有释放掉，这是什么原因呢？如何解决呢？下面来重现一下整个过程：

查看磁盘空间情况

?

1 2 3 4 5 6 7 8

[@74.114 var] # df -h Filesystem      Size Used Avail Use% Mounted on /dev/xvda2      9.7G 284M 8.9G  4% / /dev/xvda1      251M  13M 226M  6%  /boot none         1.1G   0 1.1G  0%  /dev/shm /dev/xvda10      97G  60G  33G 65%  /home /dev/xvda3      3.9G 2.7G 1.1G 72%  /usr /dev/xvda5      3.9G 3.6G  77M 98%  /var

var分区快满了，找到大文件，并删除

?

1 2 3 4 5 6 7 8 9 10

[@74.114 var] # cd /var [@74.114 var] # du –sh * 3.3G  account 111M  cache 53M   log 0    mail 156K  run 344K  spool … [@74.114 var] # rm –rf account/*

df –h 看一下，却依然是/var 为98%，一点都没释放。

?

1 2 3 4 5 6 7 8

[@74.114 var] # df -h Filesystem      Size Used Avail Use% Mounted on /dev/xvda2      9.7G 284M 8.9G  4% / /dev/xvda1      251M  13M 226M  6%  /boot none         1.1G   0 1.1G  0%  /dev/shm /dev/xvda10      97G  60G  33G 65%  /home /dev/xvda3      3.9G 2.7G 1.1G 72%  /usr /dev/xvda5      3.9G 3.6G  77M 98%  /var

但du –sh * 却显示没有大文件了

?

1 2 3 4 5 6 7 8

[@74.114 ~] # cd /var && du –sh * 120K  account 111M  cache 53M   log 0    mail 156K  run 344K  spool …

猜想1：应该是删除的内容依然被进程占用，内存没释放，所以用lsof |grep – I deleted 看了一下，发现如下：

?

1 2 3 4 5 6 7 8 9 10

[@74.114 account] # lsof |grep -i deleted listserve 4833      blty  0u   CHR   136,2          4  /dev/pts/2 (deleted) listserve 4833      blty  1u   CHR   136,2          4  /dev/pts/2 (deleted) listserve 4833      blty  2u   CHR   136,2          4  /dev/pts/2 (deleted) Billing_P 16989      blty  0u   CHR   136,0          2  /dev/pts/0 (deleted) Billing_P 16989      blty  1u   CHR   136,0          2  /dev/pts/0 (deleted) Billing_P 16989      blty  2u   CHR   136,0          2  /dev/pts/0 (deleted) Billing_P 16990      blty  0u   CHR   136,0          2  /dev/pts/0 (deleted) Billing_P 16990      blty  1u   CHR   136,0          2  /dev/pts/0 (deleted) Billing_P 16990      blty  2u   CHR   136,0          2  /dev/pts/0 (deleted)

发现时billing程序占用没释放，所以联系项目经理将Billing_P停掉，重启，依然没有释放任何空间。无果
猜想2：删除的文件是accout目录下的pacct文件，应该是由psacct产生和管理，重启这个程序后是否会OK呢？解决

?

1	[@74.114 account] # /etc/init.d/psacct restart

最后看一下磁盘空间，磁盘空间释放鸟~~

?

1 2 3 4 5 6 7 8

[@74.114 var] # df -h Filesystem      Size Used Avail Use% Mounted on /dev/xvda2      9.7G 284M 8.9G  4% / /dev/xvda1      251M  13M 226M  6%  /boot none         1.1G   0 1.1G  0%  /dev/shm /dev/xvda10      97G  60G  33G 65%  /home /dev/xvda3      3.9G 2.7G 1.1G 72%  /usr /dev/xvda5      3.9G 100M  3.6M 4%  /var

 小建议：

以后处理相关问题时，如果发现du 和df 大小不一致的情况，可以通过lsof 查看，也许可以找到一些出现问题的原因，如果还是找不到问题，在允许的情况下不妨试一下重启服务，也许问题就迎刃而解了。
重启服务得不到解决的情况下，可以通过卸载磁盘分区来试着解决。

在决定删除某些文件前，最好确定好这个文件被哪些服务使用，先停掉这些服务再删除，这样就很少出现空间释放不了的情况了

linux磁盘挂载点目录占用情况（图）

挂载点下的目录之和远小于4.5G，那么是什么占用了硬盘呢？

以下为该问题的解答：

在apache/tomcat服务在运行状态下，清空了运行服务的日志，从而导致了/dev/sda3 满了的问题。一般情况下，大多数服务（包括脚本）在运行时，是不能删除当前正在写入的日志文件的。

原理分析：

1. 当前access.log日志正在被apache进程占用。

2. 通过rm命令删除access.log，实际只删除了文件名（该日志文件应用记数不为0，因此空间不会被释放）。

3. 通过rm命令删除了access.log后，apache依然写日志到access.log中，当开启apache进程时，已经通过access.log定位到该文件的inode了，就是说再写日志是不通过access.log，因此即使删除了access.log，apache依然写日志到access.log所在的inode节点，所以导致硬盘空间增加。

4. 因为删除了access.log，所以我们就找不到该文件了，du也查不到，就会出现硬盘满了但看不到究竟是哪些文件占用的。
（写的不甚详细，不明白的大家再google下。）

解决方法：

重启该日志文件的相关服务或程序，如：为apache日志文件则重启apache（如下图，重启后才硬盘空间占用正常）。