zoukankan      html  css  js  c++  java
  • 正式班D16

    2020.10.27星期二  正式班D16

    9.9 字符处理命令

    9.9.1 sort排序

    • 用于将文件内容加以排序

      -n # 依照数值的大小排序

      -r # 以相反的顺序来排序

      -k # 以某列进行排序

      -t # 指定分隔符,默认是空格

      [root@ccc ~]# cat a.py 
      b:3
      c:2
      a:4
      4:1
      f:5
      [root@ccc ~]# sort a.py 
      4:1
      a:4
      b:3
      c:2
      f:5
      [root@ccc ~]# sort -t ":" -n -k2 a.py 
      4:1
      c:2
      b:3
      a:4
      f:5
      [root@ccc ~]# sort -t ":" -n -r -k2 a.py 
      f:5
      a:4
      b:3
      c:2
      4:1
      

    9.9.2 uniq去重

    • 用于检查及删除文本文件中重复出现的行列,一般与sort命令结合使用

      -c # 在每列旁边显示出该行重复出现的次数

      -d # 仅显示重复出现的行列

      -u # 仅显示出现一次的行列

      [root@ccc ~]# cat b.py 
      hello
      123
      hello
      123
      hahaha
      [root@ccc ~]# sort b.py 
      123
      123
      hahaha
      hello
      hello
      [root@ccc ~]# sort b.py |uniq
      123
      hahaha
      hello
      [root@ccc ~]# sort b.py | uniq -c
            2 123
            1 hahaha
            2 hello
      [root@ccc ~]# sort b.py | uniq -d
      123
      hello
      [root@ccc ~]# sort b.py | uniq -u
      hahaha
      

    9.9.3 cut处理规律文本

    • 用来显示行中的指定部分,删除文件中指定字段

      -d # 指定字段的分隔符,默认是"TAB"

      -f # 显示指定字段的内容

      [root@ccc ~]# head -1 /etc/passwd
      root:x:0:0:root:/root:/bin/bash
      [root@ccc ~]# head -1 /etc/passwd | cut -d ":" -f1
      root
      [root@ccc ~]# head -1 /etc/passwd | cut -d ":" -f1-3
      root:x:0
      [root@ccc ~]# head -1 /etc/passwd | cut -d ":" -f1,3
      root:0
      

    9.9.4 tr替换

    • 替换或删除命令

      -d # 删除字符

      [root@ccc ~]# head -1 /etc/passwd | tr "bin" "BIN"
      root:x:0:0:root:/root:/BIN/Bash
      [root@ccc ~]# head -1 /etc/passwd | tr -d "root"
      :x:0:0::/:/bin/bash
      

    9.9.5 wc统计

    • 统计,计算数字

      -c # 统计文件的bytes数

      -l # 统计文件的行数

      -w # 统计文件中单词的个数,默认以空白字符作为分隔符

      [root@ccc test]# ll a.py 
      -rw-r--r-- 1 root root 4 10月 27 17:14 a.py
      [root@ccc test]# cat a.py 
      111
      [root@ccc test]# wc -c a.py 
      4 a.py
      [root@ccc test]# wc -l a.py 
      1 a.py
      [root@ccc test]# wc -w a.py 
      1 a.py
      [root@ccc test]# grep "hello" a.py | wc -l
      0
      

    9.10 打包压缩

    9.10.1 基本概念

    • 打包:将多个文件和目录合并为一个特殊文件

    • 压缩:将该特殊文件进行压缩得到一个压缩包

    • 使用压缩包是为了减少占用的体积和加快网络的传输

    • Windows支持:zip、rar

      Linux支持:zip、tar、gz tar、bz2、gz(后缀不重要但一定要带)

    9.10.2 tar.gz与tar.biz2

    • 打包

      [root@ccc test]# tar cvf bak.tar /etc/passwd  # c:创建,v:详细过程,f:打包后文件路径
      tar: 从成员名中删除开头的“/”
      /etc/passwd
      [root@ccc test]# ll
      总用量 16
      -rw-r--r-- 1 root root 10240 10月 27 21:36 bak.tar
      
    • 压缩

      # gzip -> gunzip
      [root@ccc test]# gzip bak.tar 
      [root@ccc test]# ll
      总用量 8
      -rw-r--r-- 1 root root 520 10月 27 21:36 bak.tar.gz
      
      # bzip2 -> bunzip
      [root@ccc test]# bzip2 bak.tar
      [root@ccc test]# ll
      总用量 12
      -rw-r--r-- 1 root root 530 10月 27 21:43 bak.tar.bz2
      
    • 合二为一

      # gzip压缩算法(.gz结尾)
      [root@ccc test]# tar cvzf bak.tar.gz /etc/passwd
      tar: 从成员名中删除开头的“/”
      /etc/passwd
      [root@ccc test]# ll
      总用量 16
      -rw-r--r-- 1 root root   512 10月 27 21:47 bak.tar.gz
      
      # bzip2压缩算法(.bz2结尾)
      [root@ccc test]# tar cvjf bak.tar.bz2 /etc/passwd
      tar: 从成员名中删除开头的“/”
      /etc/passwd
      [root@ccc test]# ll
      总用量 4
      -rw-r--r-- 1 root root   530 10月 27 21:48 bak.tar.bz2
      

    9.10.3 解包

    • tar xvf 压缩包 -C 解压到的目录

      # 针对xxx.tar.gz或者xxx.tar.bz2统一使用
      [root@ccc test]# tar xvf bak.tar.gz -C ~/test
      etc/passwd
      [root@ccc test]# ll
      总用量 12
      -rw-r--r-- 1 root root 512 10月 27 21:54 bak.tar.gz
      drwxr-xr-x 2 root root  20 10月 27 21:55 etc
      
      [root@ccc test]# tar xvf bak.tar.bz2 -C ~/test/
      etc/passwd
      [root@ccc test]# ll
      总用量 12
      -rw-r--r-- 1 root root 530 10月 27 21:54 bak.tar.bz2
      drwxr-xr-x 2 root root  20 10月 27 21:56 etc
      
      # 针对xxx.zip
      [root@ccc test]# unzip bak.zip 
        inflating: etc/passwd              
         creating: etc/yum/
      [root@ccc test]# ll
      总用量 12
      drwxr-xr-x 3 root root  31 10月 27 21:58 etc
      

    9.10.4 zip

    • zip后的第一个参数是压缩包路径,其余为被压缩的文件

      [root@ccc test]# zip bak.zip /etc/passwd /etc/yum
        adding: etc/passwd (deflated 58%)
        adding: etc/yum/ (stored 0%)
      [root@ccc test]# ll
      总用量 4
      -rw-r--r-- 1 root root 704 10月 27 21:52 bak.zip
      

    9.10.5备份

    • 打包压缩常用于备份文件,文件名必须见名知意且带上时间、主机名之类

      # 时间命令date
      [root@ccc test]# date
      2020年 10月 27日 星期二 22:02:15 CST
      [root@ccc test]# date +%F
      2020-10-27
      [root@ccc test]# date +%Y_%m_%d
      2020_10_27
      [root@ccc test]# date +%T
      22:03:10
      [root@ccc test]# date +%H_%M_%S
      22_03_38
      [root@ccc test]# date +%Y_%m_%d_%H_%M_%S
      2020_10_27_22_04_14
      [root@ccc test]# date -d "-1 day" +%F
      2020-10-26
      [root@ccc test]# date -d "1 day" +%F
      2020-10-28
      
      # 备份
      [root@ccc test]# tar cvzf `date +%Y_%m_%d_%H_%M_%S`_bak.tar.gz /etc/passwd
      tar: 从成员名中删除开头的“/”
      /etc/passwd
      [root@ccc test]# ll
      总用量 16
      -rw-r--r-- 1 root root 512 10月 27 22:07 2020_10_27_22_07_12_bak.tar.gz
      

    9.11 文件系统

    9.11.1 简介

    • 文件

      操作系统

      文件系统(属于操作系统的一部分)---->提供了文件的概念

      硬盘

      文件是操作系统提供给用户操控硬盘的一种功能

      也就是说操作系统中肯定有一段代码专门用来提供文件的功能

    • 文件系统

      文件系统是操作系统中的负责控制硬盘的一个软件

      Linux常用xfs、ext4和btrfs

      Windows常用FAT32、NTFS

    • 文件系统-->文件

    9.11.2 文件系统工作原理

    • 两部分组成:

      ①文件的元信息:例如权限(rwx)、拥有者、群组、时间参数等

      ②文件的实际内容

    • 文件系统通常会把这两部分分别存放在不同的区块

      ①文件的元信息放置到inode区块中

      ②文件的实际内容则放置到data block区块中

      ③每个inode与block都有自己的编号

    • 文件的超级区块(superblock)会记录整个档案的整体信息

      包括inode与block的总量、使用量、剩余量等

    • 硬盘的最小存取单位->扇区(Sector)->512字节->0.5kb

      操作系统的最小存取单位->block块->8个扇区->4kb

    • 总结

      # superblock
      记录此filesystem的整体信息,包括inode/block的总量、使用量、剩余量,及问价系统的格式与相关信息等
      
      # inode
      1、记录文件元信息,包括文件对应的一个或多个block块号码
      2、一个文件被分配唯一一个inode
      
      # block
      1、记录文件实际内容
      2、一个文件过大时可能会被分配多个block块,即一个文件可能对应多个block块的号码,这些号码都存放在该文件的inode里
      

      01Linux9.11.2inode与block

    • 举例

      [root@ccc test]# ls -di /
      64 /
      [root@ccc test]# ls -di /etc/
      4194369 /etc/
      [root@ccc test]# ls -i /etc/passwd
      4739260 /etc/passwd
      
    • cat /etc/passwd的整体过程

      01Linux9.11.2整体过程

    • 通常称ext文件系统为索引式文件系统(indexed allocation)

    9.11.3 扩展

    • inode信息

      inode为索引节点,是Unix操作系统的一种数据结构,本质是结构体

      inode负责存文件的元信息,如文件的创建者、创建日期、大小、inode等

      根本上inode存放除了文件的名字及真实内容外所有有关文件的信息/元数据(metadata)

      ​ 1、inode编号

      ​ 2、用来识别文件类型及用于stat C函数的模型信息

      ​ 3、链接数,即有多少文件名指向这个inode

      ​ 4、属主的ID(UID)

      ​ 5、属主的组ID(GID)

      ​ 6、文件的字节数

      ​ 7、文件所使用的磁盘块的实际数目

      ​ 8、文件的时间戳(ctime指inode上一次变动的时间,mtime指文件内容上一次变动的时间,atime指文件上依次打开的时间

      ​ 9、指向数据块的指针

      可以用stat命令查看某个文件的inode信息

      [root@ccc test]# touch cjx.py
      [root@ccc test]# stat cjx.py 
        文件:"cjx.py"
        大小:0         	块:0          IO 块:4096   普通空文件
      设备:803h/2051d	Inode:584529      硬链接:1
      权限:(0644/-rw-r--r--)  Uid:(    0/    root)   Gid:(    0/    root)
      最近访问:2020-10-27 22:55:07.390351576 +0800
      最近更改:2020-10-27 22:55:07.390351576 +0800
      最近改动:2020-10-27 22:55:07.390351576 +0800
      创建时间:-
      
      atime  # access time访问文件内容的时间。对文件内容进行一次读操作,访问时间就会变。
      	   # cat、more等操作都会,但stat、ls不会对atime产生影响
      mtime  # modify time修改文件内容的时间。文件内容最后一次修改的时间
      	   # ll命令显示的就是mtime
             # vim编辑保存后,mtime就会改变。
             # 如echo aa >> a.sh 或vim a.txt修改内容
      ctime  # change time指inode上一次文件属性变动时间。
      	   # 文件状态改变,ctime就会改变,例如chmod、chown等
      
      # 使用cat命令查看文件后,文件atime变更
      [root@ccc test]# touch cjx.py
      [root@ccc test]# stat cjx.py 
        文件:"cjx.py"
        大小:0         	块:0          IO 块:4096   普通空文件
      设备:803h/2051d	Inode:584529      硬链接:1
      权限:(0644/-rw-r--r--)  Uid:(    0/    root)   Gid:(    0/    root)
      最近访问:2020-10-27 22:55:07.390351576 +0800
      最近更改:2020-10-27 22:55:07.390351576 +0800
      最近改动:2020-10-27 22:55:07.390351576 +0800
      创建时间:-
      [root@ccc test]# cat cjx.py 
      [root@ccc test]# stat cjx.py 
        文件:"cjx.py"
        大小:0         	块:0          IO 块:4096   普通空文件
      设备:803h/2051d	Inode:584529      硬链接:1
      权限:(0644/-rw-r--r--)  Uid:(    0/    root)   Gid:(    0/    root)
      最近访问:2020-10-27 23:04:49.565459717 +0800
      最近更改:2020-10-27 22:55:07.390351576 +0800
      最近改动:2020-10-27 22:55:07.390351576 +0800
      创建时间:-
      
      # atime不变mtime及ctime改变
      [root@ccc test]# touch zzz.py
      [root@ccc test]# stat zzz.py 
        文件:"zzz.py"
        大小:0         	块:0          IO 块:4096   普通空文件
      设备:803h/2051d	Inode:584530      硬链接:1
      权限:(0644/-rw-r--r--)  Uid:(    0/    root)   Gid:(    0/    root)
      最近访问:2020-10-27 23:07:46.877188087 +0800
      最近更改:2020-10-27 23:07:46.877188087 +0800
      最近改动:2020-10-27 23:07:46.877188087 +0800
      创建时间:-
      [root@ccc test]# cat >> zzz.py << EOF
      111
      EOF
      [root@ccc test]# stat zzz.py 
        文件:"zzz.py"
        大小:4         	块:8          IO 块:4096   普通文件
      设备:803h/2051d	Inode:584530      硬链接:1
      权限:(0644/-rw-r--r--)  Uid:(    0/    root)   Gid:(    0/    root)
      最近访问:2020-10-27 23:07:46.877188087 +0800
      最近更改:2020-10-27 23:08:00.638167014 +0800
      最近改动:2020-10-27 23:08:00.638167014 +0800
      创建时间:-
      
      # atime、mtime不变,ctime改变
      [root@ccc test]# touch mmm.py
      [root@ccc test]# stat mmm.py 
        文件:"mmm.py"
        大小:0         	块:0          IO 块:4096   普通空文件
      设备:803h/2051d	Inode:584531      硬链接:1
      权限:(0644/-rw-r--r--)  Uid:(    0/    root)   Gid:(    0/    root)
      最近访问:2020-10-27 23:09:11.228058875 +0800
      最近更改:2020-10-27 23:09:11.228058875 +0800
      最近改动:2020-10-27 23:09:11.228058875 +0800
      创建时间:-
      [root@ccc test]# ll mmm.py 
      -rw-r--r-- 1 root root 0 10月 27 23:09 mmm.py
      [root@ccc test]# chmod 000 mmm.py 
      [root@ccc test]# stat mmm.py 
        文件:"mmm.py"
        大小:0         	块:0          IO 块:4096   普通空文件
      设备:803h/2051d	Inode:584531      硬链接:1
      权限:(0000/----------)  Uid:(    0/    root)   Gid:(    0/    root)
      最近访问:2020-10-27 23:09:11.228058875 +0800
      最近更改:2020-10-27 23:09:11.228058875 +0800
      最近改动:2020-10-27 23:10:03.715978463 +0800
      创建时间:-
      [root@ccc test]# ll mmm.py 
      ---------- 1 root root 0 10月 27 23:09 mmm.py
      
    • inode大小(df -i)

      inode会消耗硬盘空间,因此硬盘格式化时操作系统会将硬盘分为两个区域

      ​ ①inode区(inode table):存放inode所包含的信息

      ​ ②block数据区:存放文件数据

      查看硬盘分区的inode总数和已使用量用df -i命令

      每个文件必须要有一个inode,因此inode用光但硬盘未存满时也无法在硬盘上创建新文件

      # 查看xfs文件系统每个inode节点大小(centos7)
      xfs_info /dev/sda3
      
      # 查看ext文件系统每个inode节点大小(centos6)
      sudo dumpe2fs -h /dev/hda | grep "Inode size"
      
    • inode号码

      每个inode都有一个号码,操作系统用inode号码来识别不同的文件

      Linux系统不使用文件名,而使用inode号码来识别文件

      ​ ①系统找到这个文件名是对应的inode号码

      ​ ②通过inode号码获取inode信息

      ​ ③根据inode信息找到文件数据所在的block,读出数据

      使用ls -i命令可以看到文件名对应的inode号码

      [root@ccc test]# ls -i cjx.py 
      584529 cjx.py
      
    • 目录项

      Linux系统中目录(directory)也是一种文件。打开目录实际上就是打开目录文件

      目录结构:一系列目录项(dirent)的列表。

      目录项两个组成部分:所包含文件的文件名,给文件名对应的inode号码

      ls命令:列出目录文件中的所有文件名

      [root@ccc test]# ls
      cjx.py  mmm.py  zzz.py
      

      ls -i命令:列出整个目录文件,即文件名和inode号码

      要查看文件的详细信息就要根据inode号码访问inode节点,读取信息

      [root@ccc test]# ls -i
      584529 cjx.py  584531 mmm.py  584530 zzz.py
      
    • FAT文件系统

      U盘采用的档案系统一般为FAT格式。

      FAT格式的档案系统没有inode,每个block号码都记录在前一个block当中。

      档案系统无法一次知道四个block号码,只能将前block读出后才会知道下一个block在哪里,归于分散时,磁盘要多转好几圈才能完整读取档案的内容。

      碎片整理:原因是档案写入的block过于离散,读取性能会变差,此时通过碎片整理将同一个档案归属的blocks汇整在一起,读取会比较容易。

    • inode特殊作用

      ①文件名包含特殊字符无法正常删除时,直接删除inode节点可以删除文件

      ②移动文件或重命名文件,只改变文件名,不影响inode号码

      ③打开一个文件后,系统就以inode号码来识别这个文件,不考虑文件名

      ​ 通常来说,系统无法从inode号码来得知文件名

      [root@ccc test]# ls -i
      584529 cjx.py  584531 mmm.py  584530 zzz.py
      [root@ccc test]# ls -i cjx.py 
      584529 cjx.py
      [root@ccc test]# vim cjx.py 
      [root@ccc test]# ls -i cjx.py 
      584533 cjx.py
      [root@ccc test]# mv cjx.py CJX.py
      [root@ccc test]# ls -i CJX.py 
      584533 CJX.py
      

      Q:每次修改完服务器配置文件后,为什么需要重新加载配置文件?

      A:因为每次修改完inode都会变,系统还是读取原来的inode号的配置文件,每次修改完服务器的配置文件都要重启服务,重新读一下配置文件。

    9.11.4 软链接、硬链接

    • 硬链接(Hard Link) ---->通过"ln 源文件 目标文件" 设置硬链接

      ①对硬链接文件内容进行修改,会影响到所有文件名

      ②硬链接文件与源文件具有相同inode的不同文件名。一个文件只能有一个inode号,但多个文件的inode号可以相同

      ③删除硬链接或源文件之一,不影响另一个文件名的访问,除非都删掉

      ​ 硬链接允许一个文件拥有多个有效路径,用户可以建立硬链接连接到重要文件以防误删

      ④创建目录自动生成的两个目录项"."和".."

      ​ "."的inode号码是当前目录的inode号码,等同于当前目录的硬链接

      ​ ".."的inode号码是当前目录父目录的inode号码,等同于父目录的硬链接

      ​ 任何一个目录的硬链接总数=2+他的子目录总数(含隐藏目录)

      ⑤删除所有的硬链接,数据会在被磁盘检查或新数据写入时删除回收

      ⑥通过rm -rf删除硬链接

      ⑦目录不可创建硬链接,且硬链接无法跨区

    • 软链接(符号链接Symbolic Link) ---->通过"ln -s 源文件 目标文件" 创建软链接

      ①对软链接的源文件或目标文件内容进行修改,会影响到所有文件名

      ②软链接文件与源文件具有不同的inode号

      ③删除软链接文件的源文件,软链接文件将无法使用

      ④软链接作用:软件升级、企业代码发布、不方便目录移动

      ⑤删除源文件后,软链接文件无效,也应一起删除以便回收

      ⑥通过rm -rf删除软链接

      ⑦可以对目录创建软链接,且软链接可以跨分区

    • 示例

      ==============================硬链接===================================
      [root@ccc ~]# touch aaa.py
      [root@ccc ~]# ln aaa.py bbb.py
      [root@ccc ~]# ls -i aaa.py 
      8493577 aaa.py
      [root@ccc ~]# ls -i bbb.py 
      8493577 bbb.py
      [root@ccc ~]# ll aaa.py 
      -rw-r--r-- 2 root root 0 10月 28 22:52 aaa.py
      [root@ccc ~]# ll bbb.py 
      -rw-r--r-- 2 root root 0 10月 28 22:52 bbb.py
      [root@ccc ~]# 
      ==============================软链接===================================
      [root@ccc test]# touch 1.py
      [root@ccc test]# ln -s 1.py 2.py
      [root@ccc test]# ls -i 1.py 
      584530 1.py
      [root@ccc test]# ls -i 2.py 
      584531 2.py
      [root@ccc test]# ll 1.py   # 硬链接数为1
      -rw-r--r-- 1 root root 0 10月 28 22:57 1.py
      [root@ccc test]# ll 2.py   # 硬链接数为1
      lrwxrwxrwx 1 root root 4 10月 28 22:57 2.py -> 1.py
      [root@ccc test]# rm -rf 1.py 
      [root@ccc test]# ll 2.py   # 删掉1.py,2.py不可用
      lrwxrwxrwx 1 root root 4 10月 28 22:57 2.py -> 1.py
      
      [root@ccc test]# mkdir ./dir1
      [root@ccc test]# ln ./dir1 ./dir2
      ln: "./dir1": 不允许将硬链接指向目录
      [root@ccc test]# ln -s ./dir1 ./dir2
      [root@ccc test]# ll
      总用量 0
      drwxr-xr-x 2 root root 6 10月 28 23:00 dir1
      lrwxrwxrwx 1 root root 6 10月 28 23:01 dir2 -> ./dir1
      

    9.11.5 实战应用

    • 磁盘有空间但创建不了文件

      df -h查看磁盘使用情况(此时磁盘空间足够)

      df -i查看磁盘的索引节点(inode)(此时IUsed=100%)

      原因:数量众多的小字节缓存文件占用大量的inode,但占用的block不多

      解决方案:

      ①删除目录中部分文件,释放分区一部分inode

      ②备份好文件,然后删除这些文件来释放inode,然后创建一个新文件夹。

      ​ 在cache2下挂在一个新分区sda4,下次写数据写到新分区cache2目录下

      tips:inode分区完后不增加inode数量,改变inode大小

    • 其他场景

      大量小文件问题:

      可能会使inode耗尽,使得文件无法创建(磁盘利用率低)

      方案:将block划分小一点

      大文件问题:

      一个文件占用多个block,是的文件读写速率慢

      方案:将block划分大一点

      ext文件系统---->xfs文件系统

    • 面试题:Linux中软链接与硬链接区别

      1、从定义: linux系统中,链接有两种,一种被称为软链接,类似于快捷方式,存放指向原文件inode的信息,与原文件inode不同。 一种是硬链接,与原文件有相同的inode,可以指向数据block。
      2、从创建方式:硬链接命令In 原文件 目标文件,软链接命令ln -s 原文件目 标文件
      3、从创建对象: In命令不能对目录创建硬链接,但是可以对目录创建软链接。因为软链接可以跨越文件系统,硬链接则不能。对目录和为客户创建的文件软链接经常用到。
      4、删除软链接文件,对硬链接和原文件无影响。
      5、删除文件硬链接,对原文件及软链接文件无影响
      6、删除原文件,对硬链接读取数据无影响,软链接则失效。会出现红底白字状。
      7、同时删除原文件和硬链接,原文件才会被真正删除
      8、很多硬件设备中的快照原理,类似于硬链接原理

  • 相关阅读:
    mysql 分页查询及优化
    Mabatis中#{}和${}的区别
    mybatis 缓存(cache)的使用
    mac下安装 rabbitMq
    maven profile动态选择配置文件
    在pom.xml中使用distributionManagement将项目打包上传到nexus私服
    ConfigFileApplicationListener
    【Ubuntu 16】安装nginx
    【Ubuntu 16】安装ssh
    使用XMLHttpRequest异步通信
  • 原文地址:https://www.cnblogs.com/caojiaxin/p/13894208.html
Copyright © 2011-2022 走看看