zoukankan      html  css  js  c++  java
  • linux文件管理之管道与重定向


    ==============================================================

    内容提要:
    输入输出重定向、管道;
    重定向的作用;
    文件描述符 0 1 2 &>;
    输入输出重定向实现;
    管道 | 基本原理;
    匿名管道及命名管道的区别;
    管道的应用实战
    ==============================================================

    本节作业:

    1.完成课堂中学习的所有内容


    2. 管道及重定向练习
    1)统计/usr/bin/目录下的文件个数;
    2)取出当前系统上所有用户的shell,要求,每种shell只显示一次,并且按顺序进行显示;
    3)思考:如何显示/var/log目录下每个文件的内容类型?
    4)取出/etc/inittab文件的第6行;
    5)取出/etc/passwd文件中倒数第9个用户的用户名和shell,显示到屏幕上并将其保存至/tmp/users文件中;
    6)显示/etc目录下所有以pa开头的文件,并统计其个数;
    7)不使用文本编辑器,将alias cls=clear一行内容添加至当前用户的.bashrc文件中;

    I/O重定向

     

    I/O Redirection
    ====================================================================================
    标准输入、标准输出、标准错误
    输出重定向及综合案例
    输入重定向及结合案例


    标准输入、标准输出、标准错误
    file://C:UsersanliuAppDataLocalTempct_tmp/1.png
    file descriptors (FD,文件描述符 或 Process I/O channels):
    进程使用文件描述符来管理打开的文件
    [root@localhost ~]# ls /proc/$$/fd
    0 1 2 3 4

    0, 1, and 2, known as standard input, standard output, and standard error

    file://C:UsersanliuAppDataLocalTempct_tmp/2.png


    输出重定向 (覆盖,追加)
    正确输出: 1> 1>> 等价于 > >>
    错误输出: 2> 2>>

    案例1:输出重定向(覆盖)
    [root@localhost ~]# date 1> date.txt
    file://C:UsersanliuAppDataLocalTempct_tmp/3.png
    案例2:输出重定向(追加)
    [root@localhost ~]# date >> date.txt
    file://C:UsersanliuAppDataLocalTempct_tmp/4.png

    案例3:错误输出重定向
    [root@localhost ~]# ls /home/ /aaaaaaaaa >list.txt
    ls: 无法访问/aaaaaaaaa: 没有那个文件或目录
    [root@localhost ~]# ls /home/ /aaaaaaaaa >list.txt 2>error.txt //重定向到不同的位置
    file://C:UsersanliuAppDataLocalTempct_tmp/5.png

    案例4: 正确和错误都输入到相同位置
    [root@localhost ~]# ls /home/ /aaaaaaaaa &>list.txt //混合输出
    file://C:UsersanliuAppDataLocalTempct_tmp/6.png
    案例5: 正确和错误都输入到相同位置
    [root@localhost ~]# ls /home/ /aaaaaaaaa >list.txt 2>&1 //重定向到相同的位置
    file://C:UsersanliuAppDataLocalTempct_tmp/7.png
    案例6:重定向到空设备/dev/null
    [root@localhost ~]# ls /home/ /aaaaaaaaa >list.txt 2>/dev/null //空设备,即将产生的输出丢掉
    [root@localhost ~]# ls /home/ /aaaaaaaaa &>/dev/null //空设备,即将产生的输出丢掉
    file://C:UsersanliuAppDataLocalTempct_tmp/8.png

    cp /etc/passwd /dev/null ???
    cp /etc/passwd /etc/passwd1 2>/dev/null ???



    sudo rm /dev/null
    sudo mknod -m 666 /dev/null c 1 3

    file://C:UsersanliuAppDataLocalTempct_tmp/9.png

    案例7:脚本中使用重定向
    # vim ping.sh
    #!/usr/bin/bash
    ping -c1 172.16.120.254 &>/dev/null
    if [ $? -eq 0 ];then
    echo "up.."
    else
    echo "down.."
    fi
    # bash ping.sh

    案例8:脚本中使用重定向
    # vim ping2.sh
    #!/usr/bin/bash
    ping -c1 172.16.120.254 &>/dev/null
    if [ $? -eq 0 ];then
    echo "172.16.120.254 up.." > /up.txt
    else
    echo "172.16.120.254 down.." >/down.txt
    fi
    # bash ping2.sh

    >new.txt ???
    >/etc/passwd ???
    >/etc ???




    输入重定向
    标准输入: < 等价 0<
    案例1:
    [root@localhost ~]# mail -s "ssss" alice //没有改变输入的方向,默认键盘
    111
    222
    333
    ^D
    [root@localhost ~]# su - alice
    [alice@localhost ~]$ mail
    Mail version 8.1 6/6/93. Type ? for help.
    "/var/spool/mail/alice": 1 message 1 new
    >N 1 root@localhost.local Mon Oct 29 14:09 18/657 "ssss"
    &

    [root@localhost ~]# mail -s "test01" alice < /etc/hosts //输入重定向,来自于文件

    案例2:
    [root@localhost ~]# grep 'root' //没有改变输入的方向,默认键盘,此时等待输入...
    yang sss
    sssrootssss..
    sssrootssss..

    [root@localhost ~]# grep 'root' < /etc/passwd
    root:x:0:0:root:/root:/bin/bash
    operator:x:11:0:operator:/root:/sbin/nologin

    案例3:
    [root@localhost ~]# dd if=/dev/zero of=/file1.txt bs=1M count=2
    [root@localhost ~]# dd </dev/zero >/file2.txt bs=1M count=20

    案例4:mysql表结构导入
    [root@localhost ~]# mysql -uroot -p123 < bbs.sql

    案例5:at
    [root@localhost ~]# at now +5 min
    at> useradd yang99
    at> <EOT>
    job 1 at 2015-06-09 11:57

    [root@localhost ~]# vim at.txt
    useradd yang100
    useradd yang102
    [root@localhost ~]# at now +2 min < at.txt
    job 2 at 2015-06-09 11:55

    sudo: sorry, you must have a tty to run sudo
    sudo: sorry, you must have a tty to run sudo




    综合案例1: 利用重定向建立多行的文件
    [root@localhost ~]# echo "111" > file1.txt
    [root@localhost ~]# cat file1.txt
    111

    [root@localhost ~]# cat >file2.txt
    111
    222
    333
    444
    ^D
    [root@localhost ~]# cat file2.txt

    请问:file2.txt有几行?




    [root@localhost ~]# cat >>file3.txt
    aaa
    bbb
    ccc
    ddd
    ^D
    [root@localhost ~]# cat file3.txt

    请问:file3.txt有几行?



    [root@localhost ~]# cat >file4 <<EOF
    > 111
    > 222
    > 333
    > EOF
    [root@localhost ~]# cat file4
    111
    222
    333


    综合案例2: 脚本中利用重定向打印消息
    [root@localhost ~]# vim yang.sh
    #!/usr/bin/bash
    cat <<-EOF
    +------------------------------------------------+
    | |
    | ====================== |
    | 虚拟机基本管理centos |
    | by localhost |
    | ====================== |
    | 1. 安装虚拟机 |
    | 2. 重置所有Linux虚拟机 |
    | 3. 重置Windows虚拟机 |
    | 4. 重置Windows虚拟机 [完全] |
    | 5. 重置指定的虚拟机 |
    | q. 退出管理程序 |
    | |
    +------------------------------------------------+
    EOF


    综合案例3
    [root@localhost ~]# ls; date &>/dev/null

    [root@localhost ~]# ls &>/dev/null; date &>/dev/null

    [root@localhost ~]# (ls; date) &>/dev/null

    [root@localhost ~]# (while :; do date; sleep 2; done) &>date.txt

    [root@localhost ~]# (while :; do date; sleep 2; done) &>date.txt &
    [1] 6595
    [root@localhost ~]# tailf date.txt
    Tue Apr 12 22:04:32 CST 2016
    Tue Apr 12 22:04:34 CST 2016
    Tue Apr 12 22:04:36 CST 2016
    Tue Apr 12 22:04:38 CST 2016
    Tue Apr 12 22:04:40 CST 2016
    Tue Apr 12 22:04:42 CST 2016
    Tue Apr 12 22:04:44 CST 2016
    Tue Apr 12 22:04:46 CST 2016
    Tue Apr 12 22:04:48 CST 2016

    [root@localhost ~]# jobs
    [1]+ Running ( while :; do
    date; sleep 2;
    done ) &>date.txt &
    [root@localhost ~]# kill %1
    [root@localhost ~]# jobs

    [root@localhost ~]# (./configure && make && make install) &>/dev/null

    使用文件描述符重定向
    使用文件描述符的重定向都使用了&符号
    cmd >&n 把输出送到文件描述符n
    cmd m>&n 把输出到文件符m的信息重定向到文件描述符n
    cmd >&- 关闭标准输出
    cmd <&n 输入来自文件描述符n
    cmd m<&n m来自文件描述符n
    cmd <&- 关闭标准输入
    cmd <&n- 移动输入文件描述符n而非复制它。
    cmd >&n- 移动输出文件描述符 n而非复制它。

    2>&1:将stderr重定向到标准输出

    重定向组合使用
    cmd 2>file <==>cmd &> file <==>cmd >& file
    cmd > file 2>&1
    cmd > f1 2>f2
    tee files

    cmd >/dev/null 2>&1 <==> &> /dev/null

    特殊应用:
    cat > catfile <<EOF

    扩展点:subshell
    [root@localhost ~]# (umask 777; touch file8888)
    [root@localhost ~]#
    [root@localhost ~]# ll file8888
    ---------- 1 root root 0 Apr 12 22:11 file8888
    [root@localhost ~]#
    [root@localhost ~]# umask
    0022


    进程管道 Piping


    ====================================================================================
    • Use redirection characters to control output to files.
    • Use piping to control output to other programs.

    files: > 2> file1.txt /dev/pts/2 /dev/tty1 /dev/null /dev/sda
    programs: |

    进程管道
    用法:command1 | command2 |command3 |...
    file://C:UsersanliuAppDataLocalTempct_tmp/1.png

    [root@localhost ~]# ll /dev/ |less
    [root@localhost ~]# ps aux |grep 'sshd'
    [root@localhost ~]# rpm -qa |grep 'httpd' //查询所有安装的软件包,过滤包含httpd的包
    [root@localhost ~]# yum list |grep 'httpd'

    案例1:将/etc/passwd中的用户按UID大小排序
    [root@localhost ~]# sort -t":" -k3 -n /etc/passwd //以: 分隔,将第三列按字数升序
    [root@localhost ~]# sort -t":" -k3 -n /etc/passwd -r //逆序
    [root@localhost ~]# sort -t":" -k3 -n /etc/passwd |head
    -t 指定字段分隔符--field-separator
    -k 指定列
    -n 按数值

    案例2:统计出最占CPU的5个进程
    [root@localhost ~]# ps aux --sort=-%cpu |head -6

    案例3:统计当前/etc/passwd中用户使用的shell类型
    思路:取出第七列(shell) | 排序(把相同归类)| 去重
    [root@localhost ~]# awk -F: '{print $7}' /etc/passwd
    [root@localhost ~]# awk -F: '{print $7}' /etc/passwd |sort
    [root@localhost ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq
    [root@localhost ~]# awk -F: '{print $7}' /etc/passwd |sort |uniq -c
    131 /bin/bash
    1 /bin/sync
    1 /sbin/halt
    63 /sbin/nologin
    1 /sbin/shutdown
    -F: 指定字段分隔符
    $7 第七个字段

    案例4: 统计网站的访问情况 top 20
    思路: 打印所有访问的连接 | 过滤访问网站的连接 | 打印用户的IP | 排序 | 去重
    [root@localhost ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c
    4334 192.168.0.66
    1338 192.168.10.11
    1482 192.168.10.125
    44 192.168.10.183
    3035 192.168.10.213
    375 192.168.10.35
    362 192.168.10.39
    [root@localhost ~]# ss -an |grep :80 |awk -F":" '{print $8}' |sort |uniq -c |sort -k1 -rn |head -n 20

    案例5: 打印当前所有IP
    [root@localhost ~]# ip addr |grep 'inet ' |awk '{print $2}' |awk -F"/" '{print $1}'
    127.0.0.1
    192.168.2.115

    案例6:打印根分区已用空间的百分比(仅打印数字)
    [root@localhost ~]# df -P |grep '/$' |awk '{print $5}' |awk -F"%" '{print $1}'


    tee管道
    file://C:UsersanliuAppDataLocalTempct_tmp/2.png
    [root@localhost ~]# ip addr |grep 'inet ' |tee ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'
    127.0.0.1
    172.16.60.1
    [root@localhost ~]# cat ip.txt
    inet 127.0.0.1/8 scope host lo
    inet 172.16.60.1/24 brd 172.16.60.255 scope global eth0


    [root@localhost ~]# ip addr |grep 'inet ' |tee -a ip.txt |awk -F"/" '{print $1}' |awk '{print $2}'
    127.0.0.1
    172.16.60.1

    [root@localhost ~]# date |tee date.txt
    Sat Mar 11 10:22:31 CST 2017

    注意:
    1、管道命令只处理前一个命令正确输出,不处理错误输出。
    2、管道命令右边命令,必须能够接收标准输入流命令才行。

    作业:
    1. 了解匿名管道和命名管道的区别?

    匿名管道由pipe函数创建并打开。
    命名管道由mkfifo函数创建,打开用open
    FIFO(命名管道)与pipe(匿名管道)之间唯一的区别在它们创建与打开的方式不同,一量这些工作完成之后,它们具有相同的语义。



    2. 如何创建命名管道?


    在Linux系统下,命名管道可由两种方式创建(假设创建一个名为“fifoexample”的有名管道):
    (1)mkfifo("fifoexample","rw");
    (2)mknod fifoexample p
    mkfifo是一个函数,mknod是一个系统调用


    点击这里点击这里
    通配符 含义
    * 匹配零个或多个字符。
    ? 匹配任意单个字符。
    [0-9] 匹配范围内的数字。
    [abc] 匹配已出的任意字符。



    查看sda开头的所有设备文件:
    [root@linuxprobe ~]# ls /dev/sda*
    /dev/sda /dev/sda1 /dev/sda2
    查看sda后面有一个字符的设备文件:
    [root@linuxprobe ~]# ls /dev/sda?
    /dev/sda1 /dev/sda2
    查看sda后面包含0-9数字的设备文件:
    [root@linuxprobe ~]# ls /dev/sda[0-9]
    /dev/sda1 /dev/sda2
    查看sda后面是1或3或5的设备文件:
    [root@linuxprobe ~]# ls /dev/sda[135]
    /dev/sda1
    另外bash解释器还支持很多的特殊字符扩展:

    点击这里点击这里
    字符 作用
    (反斜杠) 转义后面单个字符
    ''(单引号) 转义所有的字符
    ""(双引号) 变量依然生效
    ``(反引号) 执行命令语句




    PATH变量


    alias命令用于设置命令的别名,格式为:“alias 别名=命令”。
    例如担心复制文件时误将文件覆盖,那么执行alias cp=”cp -i”则每次覆盖都会询问用户。
    unalias命令用于取消命令的别名,格式为:“unalias 别名”。

    当用户执行了一条”ls“命令后发生了什么事情?
    步骤一:如果是以绝对/相对路径输入的命令则直接执行(如执行/bin/ls)。
    步骤二:检查是否为alias别名命令。
    步骤三:由bash判断其是“内部命令”还是“外部命令”。
    内部命令:属于解释器内部的
    外部命令:独立于解释器外的命令文件
    步骤四:通过$PATH变量中定义的路径进行命令查找。

    查看$PATH变量的方法:echo $PATH

    $PATH变量是“解释器的助手”,它负责告诉bash用户要执行的命令可能存放在那里,然后bash就会在这些目录里寻找。

  • 相关阅读:
    urlrewritingnet 域名http状态302 问题(转)
    ASP.NET设置404页面返回302HTTP状态码的解决方法
    互联网网站的反爬虫策略浅析
    常见的端口速查
    SQL语句的MINUS,INTERSECT和UNION ALL
    linux下不解包查看tar包文件内容
    SSH 公钥检查
    df: `/root/.gvfs': Permission denied
    Bash脚本实现批量作业并行化
    ssh远程执行远程执行命令
  • 原文地址:https://www.cnblogs.com/anttech/p/10597679.html
Copyright © 2011-2022 走看看