zoukankan      html  css  js  c++  java
  • SED---三剑客之SED行天下

    功能说明

    Sed是Stream Editor(流编辑器)缩写,是操作、过滤和转换文本内容的强大工具。常用功能有增删改查,过滤,取行。

    1. [root@oldboy ~]# sed --version #→ sed软件版本
    2. GNU sed version 4.2.1

    语法格式

    1. sed [options] [sed-commands] [input-file]
    2. sed [选项] [sed命令] [输入文件]
    3. 说明:
    4. 1. 注意sed和后面的选项之间至少有一个空格。
    5. 2. 为了避免混淆,本文称呼sed为sed软件。sed-commands(sed命令)是sed软件内置的一些命令选项,为了和前面的options(选项)区分,故称为sed命令。
    6. 3. sed-commands既可以是单个sed命令,也可以是多个sed命令组合。
    7. 4. input-file(输入文件)是可选项,sed还能够从标准输入如管道获取输入。

    命令执行流程

    概括流程:Sed软件从文件或管道中读取一行,处理一行,输出一行;再读取一行,再处理一行,再输出一行……

    模式空间:sed软件内部的一个临时缓存,用于存放读取到的内容。

    使用范例

    1. 统一实验文本

    1. # 创建包含下面内容的文件,后面的操作都会使用这个文件。
    2. [root@oldboy ~]# cat person.txt
    3. 101,oldboy,CEO
    4. 102,zhangyao,CTO
    5. 103,Alex,COO
    6. 104,yy,CFO
    7. 105,feixue,CIO

    2. 增删改查

    2.1 增

    • a 追加文本到指定行后
    • i 插入文本到指定行前
    2.1.1 单行增加
    1. [root@oldboy ~]# sed '2a 106,dandan,CSO' person.txt
    2. 101,oldboy,CEO
    3. 102,zhangyao,CTO
    4. 106,dandan,CSO
    5. 103,Alex,COO
    6. 104,yy,CFO
    7. 105,feixue,CIO
    8. [root@oldboy ~]# sed '2i 106,dandan,CSO' person.txt
    9. 101,oldboy,CEO
    10. 106,dandan,CSO
    11. 102,zhangyao,CTO
    12. 103,Alex,COO
    13. 104,yy,CFO
    14. 105,feixue,CIO
    2.1.2 多行增加
    1. [root@oldboy ~]# sed '2a 106,dandan,CSO 107,bingbing,CCO' person.txt
    2. 101,oldboy,CEO
    3. 102,zhangyao,CTO
    4. 106,dandan,CSO #→第1种写法
    5. 107,bingbing,CCO
    6. 103,Alex,COO
    7. 104,yy,CFO
    8. 105,feixue,CIO
    9. [root@oldboy ~]# sed '2a 106,dandan,CSO
    10. > 107,bingbing,CCO' person.txt
    11. 101,oldboy,CEO
    12. 102,zhangyao,CTO
    13. 106,dandan,CSO #→第2种写法
    14. 107,bingbing,CCO
    15. 103,Alex,COO
    16. 104,yy,CFO
    17. 105,feixue,CIO
    18. #→sed命令i的使用方法是一样的,因此不再列出。
    企业案例1:优化SSH配置(一键完成增加若干参数)

    在我们学习系统优化时,有一个优化点:更改ssh服务远程登录的配置。主要的操作是在ssh的配置文件加入下面5行文本。(下面参数的具体含义见其他课程。)

    1. Port 52113
    2. PermitRootLogin no
    3. PermitEmptyPasswords no
    4. UseDNS no
    5. GSSAPIAuthentication no

    我们可以使用vi命令编辑这个文本,但这样就比较麻烦,现在想一条命令增加5行文本到第13行前?

    指定执行的地址范围

    1. sed软件可以对单行或多行进行处理。如果在sed命令前面不指定地址范围,那么默认会匹配所有行。
    2. 用法:n1[,n2]{sed-commands}
    3. 地址用逗号分隔的,n1,n2可以用数字、正则表达式、或二者的组合表示。
    4. 例子:
    5.    10{sed-commands} 对第10行操作
    6.    10,20{sed-commands} 对10到20行操作,包括第10,20行
    7.    10,+20{sed-commands} 对10到30(10+20)行操作,包括第10,30行
    8.    1~2{sed-commands} 对1,3,5,7,……行操作
    9.    10,${sed-commands} 对10到最后一行($代表最后一行)操作,包括第10行
    10. /oldboy/{sed-commands} 对匹配oldboy的行操作
    11. /oldboy/,/Alex/{sed-commands} 对匹配oldboy的行到匹配Alex的行操作
    12. /oldboy/,${sed-commands} 对匹配oldboy的行到最后一行操作
    13. /oldboy/,10{sed-commands} 对匹配oldboy的行到第10行操作,注意:如果前10行没有匹配到oldboy,sed软件会显示10行以后的匹配oldboy的行,如果有。
    14. 1,/Alex/{sed-commands} 对第1行到匹配Alex的行操作
    15. /oldboy/,+2{sed-commands} 对匹配oldboy的行到其后的2行操作

    2.2 删

    d 删除指定的行

    1. [root@oldboy ~]# sed 'd' person.txt
    2. [root@oldboy ~]#
    3. [root@oldboy ~]# sed '2d' person.txt
    4. 101,oldboy,CEO
    5. 103,Alex,COO
    6. 104,yy,CFO
    7. 105,feixue,CIO
    8. [root@oldboy ~]# sed '2,5d' person.txt
    9. 101,oldboy,CEO
    10. [root@oldboy ~]# sed '3,$d' person.txt
    11. 101,oldboy,CEO
    12. 102,zhangyao,CTO
    13. [root@oldboy ~]# sed '1~2d' person.txt
    14. 102,zhangyao,CTO
    15. 104,yy,CFO
    16. [root@oldboy ~]# sed '1,+2d' person.txt
    17. 104,yy,CFO
    18. 105,feixue,CIO
    19. [root@oldboy ~]# sed '/zhangyao/d' person.txt
    20. 101,oldboy,CEO
    21. 103,Alex,COO
    22. 104,yy,CFO
    23. 105,feixue,CIO
    24. [root@oldboy ~]# sed '/oldboy/,/Alex/d' person.txt
    25. 104,yy,CFO
    26. 105,feixue,CIO
    27. [root@oldboy ~]# sed '/oldboy/,3d' person.txt
    28. 104,yy,CFO
    29. 105,feixue,CIO
    企业案例2:打印文件内容但不包含oldboy
    1. [root@oldboy ~]# sed '/oldboy/d' person.txt #→删除包含"oldboy"的行
    2. 102,zhangyao,CTO
    3. 103,Alex,COO
    4. 104,yy,CFO
    5. 105,feixue,CIO

    2.3 改

    2.3.1 按行替换

    c 用新行取代旧行

    1. [root@oldboy ~]# sed '2c 106,dandan,CSO' person.txt
    2. 101,oldboy,CEO
    3. 106,dandan,CSO
    4. 103,Alex,COO
    5. 104,yy,CFO
    6. 105,feixue,CIO
    2.3.2 文本替换

    s:单独使用→将每一行中第一处匹配的字符串进行替换 ==>sed命令 
    g:每一行进行全部替换 ==>sed命令s的替换标志之一,非sed命令 
    -i:修改文件内容 ==>sed软件的选项

    sed软件替换模型(方框▇被替换成三角▲)

    sed -i 's/▇/▲/g' oldboy.log 
    sed -i 's#▇#▲#g' oldboy.log

    观察特点

    1. 两边是引号,引号里面的两边分别为sg,中间是三个一样的字符/#作为定界符。#能在替换内容包含/有助于区别。定界符可以是任意符号如:|等,但当替换内容包含定界符时,需转义即: |。经过长期实践,建议大家使用#作为定界符。
    2. 定界符/#,第一个和第二个之间的就是被替换的内容,第二个和第三个之间的就是替换后的内容。
    3. s#▇#▲#g,▇能用正则表达式,但▲不能用,必须是具体的。
    4. 默认sed软件是对模式空间(内存中的数据)操作,而-i选项会更改磁盘上的文件内容。
    1. [root@oldboy ~]# sed 's#zhangyao#oldboyedu#g' person.txt
    2. 101,oldboy,CEO
    3. 102,oldboyedu,CTO
    4. 103,Alex,COO
    5. 104,yy,CFO
    6. 105,feixue,CIO
    7. [root@oldboy ~]# cat person.txt
    8. 101,oldboy,CEO
    9. 102,zhangyao,CTO
    10. 103,Alex,COO
    11. 104,yy,CFO
    12. 105,feixue,CIO
    13. [root@oldboy ~]# sed -i 's#zhangyao#BBB#g' person.txt
    14. [root@oldboy ~]# cat person.txt
    15. 101,oldboy,CEO
    16. 102,BBB,CTO
    17. 103,Alex,COO
    18. 104,yy,CFO
    19. 105,feixue,CIO
    20. [root@oldboy ~]# sed -i 's#oldboyedu#zhangyao#g' person.txt #→还原测试文件
    企业案例3:指定行修改配置文件

    指定行精确修改配置文件,这样可以防止修改多了地方。

    1. [root@oldboy ~]# sed '3s#0#9#' person.txt
    2. 101,oldboy,CEO
    3. 102,zhangyao,CTO
    4. 193,Alex,COO
    5. 104,yy,CFO
    6. 105,feixue,CIO
    2.3.3 变量替换
    1. [root@oldboy ~]# cat test.txt #→再新建一个文本
    2. a
    3. b
    4. a
    5. [root@oldboy ~]# x=a
    6. [root@oldboy ~]# y=b
    7. [root@oldboy ~]# echo $x $y
    8. a b
    9. [root@oldboy ~]# sed s#$x#$y#g test.txt
    10. b
    11. b
    12. b
    13. [root@oldboy ~]# sed 's#$x#$y#g' test.txt
    14. a
    15. b
    16. a
    17. [root@oldboy ~]# sed 's#'$x'#'$y'#g' test.txt
    18. b
    19. b
    20. b
    21. [root@oldboy ~]# sed "s#$x#$y#g" test.txt
    22. b
    23. b
    24. b
    25. [root@oldboy ~]# eval sed 's#$x#$y#g' test.txt
    26. b
    27. b
    28. b
    2.3.4 分组替换( )1的使用说明

    sed软件的( )的功能可以记住正则表达式的一部分,其中,1为第一个记住的模式即第一个小括号中的匹配内容,2第二记住的模式,即第二个小括号中的匹配内容,sed最多可以记住9个。

    例:echo I am oldboy teacher.如果想保留这一行的单词oldboy,删除剩下的部分,使用圆括号标记想保留的部分。

    1. [root@oldboy ~]# echo I am oldboy teacher. |sed 's#^.*am ([a-z].*) tea.*$#1#g'
    2. oldboy
    3. [root@oldboy ~]# echo I am oldboy teacher. |sed -r 's#^.*am ([a-z].*) tea.*$#1#g'
    4. oldboy
    5. [root@oldboy ~]# echo I am oldboy teacher. |sed -r 's#I (.*) (.*) teacher.#12#g'
    6. amoldboy

    命令说明

    思路:用oldboy字符替换I am oldboy teacher.

    下面解释用代替空格

    1. ^.*am□ –>这句的意思是以任意字符开头到am□为止,匹配文件中的I am□字符串;
    2. ([a-z].*)□–>这句的外壳就是括号(),里面的[a-z]表示匹配26个字母的任何一个,[a-z].*合起来就是匹配任意多个字符,本题来说就是匹配oldboy字符串,由于oldboy字符串是需要保留的,因此用括号括起来匹配,后面通过1来取oldboy字符串。
    3. □tea.*$–>表示以空格tea起始,任意字符结尾,实际就是匹配oldboy字符串后,紧接着的字符串□teacher.;
    4. 后面被替换的内容中的1就是取前面的括号里的内容了,也就是我们要的oldboy字符串。
    5. ()是扩展正则表达式的元字符,sed软件默认识别基本正则表达式,想要使用扩展正则需要使用转义,即()。sed使用-r选项则可以识别扩展正则表达式,此时使用()反而会出错。
    企业案例4:系统开机启动项优化
    1. [root@oldboy ~]# chkconfig --list|grep "3:on"|grep -vE "sshd|crond|network|rsyslog|sysstat"|awk '{print $1}'|sed -r 's#^(.*)#chkconfig 1 off#g'|bash
    2. [root@oldboy ~]# chkconfig --list|grep "3:on"
    3. crond 0:off 1:off 2:on 3:on 4:on 5:on 6:off
    4. network 0:off 1:off 2:on 3:on 4:on 5:on 6:off
    5. rsyslog 0:off 1:off 2:on 3:on 4:on 5:on 6:off
    6. sshd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
    7. sysstat 0:off 1:on 2:on 3:on 4:on 5:on 6:off
    2.3.5 特殊符号&代表被替换的内容
    1. [root@oldboy ~]# sed '1,3s#C#--&--#g' person.txt #→此处&等于C
    2. 101,oldboy,--C--EO #→将1到3行的C替换为--C--
    3. 102,zhangyao,--C--TO
    4. 103,yy,--C--OO
    5. 104,feixue,CFO
    6. 105,dandan,CIO
    企业案例5:批量重命名文件

    当前目录下有文件如下所示:

    1. [root@oldboy test]# ls
    2. stu_102999_1_finished.jpg stu_102999_2_finished.jpg stu_102999_3_finished.jpg stu_102999_4_finished.jpg stu_102999_5_finished.jpg

    要求用sed命令重命名,效果为stu_102999_1_finished.jpg==>stu_102999_1.jpg,即删除文件名的_finished

    2.4 查

    p 输出指定内容,但默认会输出2次匹配的结果,因此使用n取消默认输出

    2.4.1 按行查询
    1. [root@oldboy ~]# sed '2p' person.txt
    2. 101,oldboy,CEO
    3. 102,zhangyao,CTO
    4. 102,zhangyao,CTO
    5. 103,Alex,COO
    6. 104,yy,CFO
    7. 105,feixue,CIO
    8. [root@oldboy ~]# sed -n '2p' person.txt
    9. 102,zhangyao,CTO
    10. [root@oldboy ~]# sed -n '2,3p' person.txt
    11. 102,zhangyao,CTO
    12. 103,Alex,COO
    13. 说明:取行就用sed,最简单
    14. [root@oldboy ~]# sed -n '1~2p' person.txt
    15. 101,oldboy,CEO
    16. 103,Alex,COO
    17. 105,feixue,CIO
    18. [root@oldboy ~]# sed -n 'p' person.txt
    19. 101,oldboy,CEO
    20. 102,zhangyao,CTO
    21. 103,yy,COO
    22. 104,feixue,CFO
    23. 105,dandan,CIO
    2.4.2 按字符串查询
    1. [root@oldboy ~]# sed -n '/CTO/p' person.txt
    2. 102,zhangyao,CTO
    3. [root@oldboy ~]# sed -n '/CTO/,/CFO/p' person.txt
    4. 102,zhangyao,CTO
    5. 103,Alex,COO
    6. 104,yy,CFO
    2.4.3 混合查询
      1. [root@oldboy ~]# sed -n '2,/CFO/p' person.txt
      2. 102,zhangyao,CTO
      3. 103,Alex,COO
      4. 104,yy,CFO
      5. [root@oldboy ~]# sed -n '/feixue/,2p' person.txt
      6. 105,feixue,CIO
      7. #→特殊情况,前两行没有匹配到feixue,就向后匹配,如果匹配到feixue就打印此行。
  • 相关阅读:
    JS图片宽度自适应移动端
    SQL语句中drop、truncate和delete的用法
    C#求百分比
    JS刷新后回到页面顶部
    JS返回上一页并刷新代码整理
    jQuery 获取设置图片 src 的路径
    C#银行卡号每隔4位数字加一个空格
    input标签内容改变时触发事件
    C#的Split()方法
    数据库常见性能问题调优
  • 原文地址:https://www.cnblogs.com/liuqiang0/p/8527635.html
Copyright © 2011-2022 走看看