zoukankan      html  css  js  c++  java
  • ext3文件系统目录限制问题

    昨晚排查了在KVM的build系统中的一个问题,跟踪到后面发现在一个目录下mkdir创建目录失败。我手动试了一下,提示如下:cannot create directory `/home/master/jaytemp` too many links
    我发现是在一个目录下的一级子目录数量是有限制的,遂做了点实验和调查,结合网上其他人写的博客,得到如下的一些关于目录个数和文件个数限制的结论。
    1.ext3文件系统一级子目录的个数默认为31998(个),准确地说是32000个。
    Linux为了cpu的搜索效率而规定的,要想改变数目限制需要重新编译内核。我看到在kernel代码中有这样的:
    include/linux/ext2_fs.h:#define EXT2_LINK_MAX           32000
    include/linux/ext3_fs.h:#define EXT3_LINK_MAX           32000
    为什么说31998个呢?这是因为mkdir创建一个目录时,目录下默认就会创建两个子目录的,一个是.目录(代表当前目录),另一个是..目录(代表上级目录)。这两个子目录是删除不掉的,“ rm . ” 会得到“rm: cannot remove `.' or `..'”的提示。所以32000-2=31998。
    另外,你可以通过如下的脚本来尝试。

    #!/bin/bash
    mkdir tmp
    cd tmp
    i=1
    while [ $i -lt 35000 ]
    do
        mkdir $i
        if [ $? -ne 0 ]; then
           echo "cannot make dir $i"
           exit
        fi
        ((i++))
    done

    运行这个脚本,你最后将得到“mkdir: cannot create directory `31999': Too many links”的错误信息。
    另外,不建议在一个目录下有太多的文件或者目录,这回降低文件系统查找文件或目录的性能。忽然想起阿里巴巴的图片服务器中将图片的存储按照年月等分为不同的各级子目录而不是在一个目录下,其中一个原因也是出于性能的Linux操作系统考虑。
    2.ext3文件系统下单个目录里的最大文件数无特别的限制,是受限于所在文件系统的inode数。
    我在RHEL5u5的ext3文件系统中测试,在一个目录下,touch了100万个文件是没有问题的。但是肯定会受到所在文件系统的inode数的限制。
    df -i /dev/sdaX或者使用tune2fs -l /dev/sdaX或者dumpe2fs -h /dev/sdaX查看可用inode数,后两个命令输出结果是一样的,但是跟df所得出的可用inode数会有些误差,其中原因,我也没搞清楚。
    网上有两种解决inode数限制的办法如下,不过我没试过了。
      2.1 重新mkfs,mkfs时将inode数调的多一些(根据你fs中文件的总数而定),块尺寸调得小一些(根据每个文件的平均大小而定)
      2.2 使用loopback文件系统临时解决:在/usr中(也可以在别处)创建一个大文件,然后做成loopback文件系统,将原来的文件移到这个文件系统中,并将它mount到/usr下合适的位置。这样可以大大减少你/usr中的文件数目。但是系统性能会有点损失。
    3.默认打开文件个数(文件描述符)限制(默认是1024个)
    ulimit -n 命令可以查看
    修改这个限制可以使用ulimt -SHn 65535 命令
    还可以在/etc/security/limit.conf 里设置用户打开文件数、进程数、CPU等信息
    4.ext3文件系统下filename最大字符长度(默认255个英文字符)
    LENTH=`for i in {1..255};do for x in a;do echo -n $x;done;done`
    touch $LENTH
    当增加到256时,touch报错,File name too long
    linux系统下ext3文件系统内给文件/目录命名,最长只能支持127个中文字符,英文则可以支持255个字符

  • 相关阅读:
    什么样的代码称得上是好代码?
    九年程序人生 总结分享
    Docker入门 第一课 --.Net Core 使用Docker全程记录
    阿里云 Windows Server 2012 r2 部署asp.net mvc网站 平坑之旅
    Visual studio 2015 Community 安装过程中遇到问题的终极解决
    Activiti6.0 spring5 工作流引擎 java SSM流程审批 项目框架
    java 进销存 库存管理 销售报表 商户管理 springmvc SSM crm 项目
    Leetcode名企之路
    24. 两两交换链表中的节点
    21. 合并两个有序链表
  • 原文地址:https://www.cnblogs.com/bethal/p/5257048.html
Copyright © 2011-2022 走看看