zoukankan      html  css  js  c++  java
  • Linux inode && Fast Directory Travel Method(undone)

    目录

    1. Linux inode简介
    2. Fast Directory Travel Method

    1. Linux inode简介

    0x1: 磁盘分割原理

    字节 -> 扇区(sector)(每个扇区存储512字节) -> 块(block)(最常见的是4KB,即8个连续的sector组成一个block)

    1. 磁盘的最小存储单位是"扇区"
    2. 文件存储的最小单位是""

    0x2: Linux EX2 filesystem

    当一个partition(分区)被格式化为ext2文件系统时,就会有inode table和block area这两个区域

    1. inode table
    保存inode,即储存文件元信息的区域 
    类似于windows中的MBR的概念(主要开机扇区,master boot recoder),即一块硬盘的第0轨上。计算机一开机就会去读取这个区域。由MBR的含义知,若一个硬盘的MBR挂了,这块硬盘就等于挂了 
     inode 则是记录"该档案的相关属性,以及档案内容放置在哪一个 Block 之内"的信息。简单的说,inode 除了记录档案的属性外,同时还必须要具有指向( pointer )的功能,亦即指向档案内容放置的区块之中,好让操作系统可以正确的去取得档案的内容
    我们知道,Linux下所有的设备都被抽象为了文件的统一概念,每一个文件都有对应的inode,里面包含了与该文件有关的一些信息
    /*
    保存inode元数据的结构体为: struct stat,可以用stat命令,查看某个文件的inode信息:stat example.txt
    struct stat 
    {
        dev_t     st_dev;         /* ID of device containing file */
        ino_t     st_ino;         /* inode number */
        mode_t    st_mode;        /* protection */
        nlink_t   st_nlink;       /* number of hard links */
        uid_t     st_uid;         /* user ID of owner */
        gid_t     st_gid;         /* group ID of owner */
        dev_t     st_rdev;        /* device ID (if special file) */
        off_t     st_size;        /* total size, in bytes */
        blksize_t st_blksize;     /* blocksize for filesystem I/O */
        blkcnt_t  st_blocks;      /* number of 512B blocks allocated */
    
        /* Since Linux 2.6, the kernel supports nanosecond
        precision for the following timestamp fields.
        For the details before Linux 2.6, see NOTES. */
    
        struct timespec st_atim;  /* time of last access */
        struct timespec st_mtim;  /* time of last modification */
        struct timespec st_ctim;  /* time of last status change */
    
        #define st_atime st_atim.tv_sec      /* Backward compatibility */
        #define st_mtime st_mtim.tv_sec
        #define st_ctime st_ctim.tv_sec
    };
    */
    
    2. block area
    block是文件系统保存实际数据的最小单位,数据本身的信息就保存在这个区域

    0x3: inode的大小

    inode也会消耗硬盘空间,我们知道,inode信息保存在"inode table"中 ,每个inode节点的大小,一般是128字节或256字节。inode节点的总数,在格式化时就给定,一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中,每个inode节点的大小为128字节,每1KB就设置一个inode,那么inode table的大小就会达到128MB,占整块硬盘的12.8%
    查看每个硬盘分区的inode总数和已经使用的数量,可以使用df命令

    df -i

    0x4: inode number

    每个inode都有一个号码,操作系统用inode号码来识别不同的文件。Unix/Linux系统内部不使用文件名,而使用inode号码来识别文件。对于系统来说,文件名只是inode号码便于识别的别称或者绰号。实际上,系统内部这个过程分成三步

    1. 系统找到这个文件名对应的inode号码
    2. 通过inode号码,获取inode信息
    3. 根据inode信息,找到文件数据所在的block,读出数据

    使用ls -i命令,可以看到文件名对应的inode号码:

    ls -i ip.txt.win03

    0x5: 读取目录文件

    Unix/Linux系统中,目录(directory)也是一种文件。打开目录,实际上就是打开目录文件
    目录文件的结构非常简单,就是一系列目录项(dirent)的列表,即目录遍历本质上是在做目录项(dirent)的遍历。每个目录项,由两部分组成

    1. 所包含文件的文件名
    2. 该文件名对应的inode号码

    ls -i命令列出整个目录文件,即文件名和inode号码:

    ls -i /etc

    目录文件的读权限(r)和写权限(w),都是针对目录文件本身。由于目录文件内只有文件名和inode号码,所以如果只有读权限,只能获取文件名,无法获取其他信息,因为其他信息都储存在inode节点中,而读取inode节点内的信息需要目录文件的执行权限(x)
    0x6: 硬链接

    一般情况下,文件名和inode号码是"一一对应"关系,每个inode号码对应一个文件名。但是,Unix/Linux系统允许,多个文件名指向同一个inode号码。在Linux的这种架构设计下,可以实现以下事情

    1. 用不同的文件名访问同样的内容
    2. 对文件内容进行修改,会影响到所有文件名
    3. 删除一个文件名,不影响另一个文件名的访问

    这种情况就被称为"硬链接"(hard link)

    inode信息中有一项叫做"链接数",记录指向该inode的文件名总数,这时就会增加1

    反过来,删除一个文件名,就会使得inode节点中的"链接数"减1。当这个值减到0,表明没有文件名指向这个inode,系统就会回收这个inode号码,以及其所对应block区域

    值得注意的是:

    创建目录时,默认会生成两个目录项:"."".."。前者的inode号码就是当前目录的inode号码,等同于当前目录的"硬链接";后者的inode号码就是当前目录的父目录的inode号码,等同于父目录的"硬链接"。所以,任何一个目录的"硬链接"总数,总是等于2加上它的子目录总数(含隐藏目录)

    0x7: 软链接
    除了硬链接以外,还有一种特殊情况
    文件A和文件B的inode号码虽然不一样,但是文件A的内容是文件B的路径。读取文件A时,系统会自动将访问者导向文件B。因此,无论打开哪一个文件,最终读取的都是文件B。这时,文件A就称为文件B的"软链接"(soft link)或者"符号链接(symbolic link)
    这意味着,文件A依赖于文件B而存在,如果删除了文件B,打开文件A就会报错:"No such file or directory"。这是软链接与硬链接最大的不同:文件A指向文件B的文件名,而不是文件B的inode号码,文件B的inode"链接数"不会因此发生变化
    0x8: inode的特殊作用

    由于inode号码与文件名分离,这种机制导致了一些Unix/Linux系统特有的现象

    1. 文件名包含特殊字符,无法正常删除。这时,直接删除inode节点,就能起到删除文件的作用 
    2. 移动文件或重命名文件,只是改变文件名,不影响inode号码 
    3. 打开一个文件以后,系统就以inode号码来识别这个文件,不再考虑文件名。因此,通常来说,系统无法从inode号码得知文件名 

    Relevant Link:

    http://man7.org/linux/man-pages/man2/stat.2.html
    http://www.cnblogs.com/kkgreen/archive/2012/03/02/2377794.html
    http://www.ruanyifeng.com/blog/2011/12/inode.html

    2. Fast Directory Travel Method

    Relevant Link:

    http://guojing.me/linux-kernel-architecture/posts/dentry-cache/
    http://oss.org.cn/kernel-book/ch08/8.3.3.htm
    http://blog.csdn.net/cywosp/article/details/21126161

    Copyright (c) 2014 LittleHann All rights reserved

  • 相关阅读:
    centos免密码登录
    conda3 快速下载python包
    Flink问题及解决方案
    git把项目推送到不同的remote(git地址)
    选择器提取内容
    spark写入mysql
    flume简介及netcat样例
    Spark 读取 Hbase 优化 --手动划分 region 提高并行数
    shell grep正则表达式
    Hibernate持久化
  • 原文地址:https://www.cnblogs.com/LittleHann/p/4208619.html
Copyright © 2011-2022 走看看