zoukankan      html  css  js  c++  java
  • shell中sed用法

    今天有个同学问我一个问题: 用shell命令将test.log文件中第3-5行的第2个”filter”替换成”haha”

    其实我对各种shell命令也不是特别熟,于是又现学了一个强大的sed命令。

    sed简单的介绍:sed命令可实现删除(delete)、改变(change)、添加(append)、插入(insert)、合并、交换文件中的资料行,或读入其它档的资料到文件中,也可替换(substuite)它们其中的字串、或转换(tranfer)其中的字母等等。例如将文件中的连续空白行删成一行、"local"字串替换成"remote"、"t"字母转换成"T"、将第10行资料与第11资料合并等。
    另外有两点比较重要的(1)sed总是以行对输入进行处理;(2)sed处理的不是原文件而是原文件的拷贝。

    sed 编辑指令的格式如下 :

    sed option [address1[,address2]]function[argument]

    其中 , option比较常用的有-e,-i,-f,-n他们的含义如下:

    -e:执行命令行中的指令,例如:sed -e 'command' file(s)

    -f:执行一个sed脚本文件中的指令,例如: sed -f  scriptfile file(s)

    -i:与-e的区别在于:当使用-e时,sed执行指令并不会修改原输入文件的内容,只会显示在bash中,而使用-i选项时,sed执行的指令会直接修改原输入文件。

    -n:读取下一行到pattern space。 这个选项具体可以参考该文章:《linux:sed高级命令之n、N》 http://www.cnblogs.com/fhefh/archive/2011/11/14/2248942.html

    位址参数 address1 、address2 为行数或 regular expression 字串 , 表示所执行编辑的资料行; 函数参数 function[argument] 为 sed 的内定函数 , 表示执行的编辑动作。

    下面两小节 , 将仔细介绍位址参数的表示法与有哪些函数参数供选择。

    (1)位址(address)参数的表示法
    实际上 , 位址参数表示法只是将要编辑的资料行 , 用它们的行数或其中的字串来代替表示它们。下面举几个例子说明 :
    删除档内第 10 行资料 , 则指令为 10d。(d表示删除function,下面的例子中的也是一样)
    删除含有 "man" 字串的资料行时 , 则指令为 /man/d。
    删除档内第 10 行到第 200 行资料, 则指令为 10,200d。
    删除档内第 10 行到含 "man" 字串的资料行 , 则指令为 10,/man/d。
    接下来 , 以位址参数的内容与其个数两点 , 完整说明指令中位址参数的表示法(同样也以函数参数 d 为例)。
    位址参数的内容:
    位址为十进位数字 : 此数字表示行数。当指令执行时 , 将对符合此行数的资料执行函数参数指示的编辑动作。例如 ,
    删除资料档中的第 15 行资料 , 则指令为 15d。其余类推 ,如删除输入文件中的第 m 行, 则指令为 md 。

    位址为 regular expression时:
    当资料行中有符合 regular expression 所表示的字串时 , 则执行函数参数指示的编辑动作。

    另外 , 在regular expression 前後必须加上 "/"。例如指令为 /t.*t/d , 表示删除所有含两 "t" 字母的资料行。其中 , "."
    表示任意字元; "*" 表示其前字元可重任意次 , 它们结合 ".*" 表示两 "t" 字母间的任意字串。

    位址参数的个数 : 在指令中 , 当没有位址参数时 , 表示全部资料行执行函数参数所指示的编辑动作; 当只有一位址
    参数时 , 表示只有符合位址的资料行才编辑 ; 当有两个位址参数 , 如 address1,address2 时 , 表示对资料区执行
    编辑 , address1 代表起始资料行 , address2 代表结束资料行。


    (2)有哪些函数(function)参数
    下面介绍所有 sed 的函数参数的功能。

    =  印出资料行数( line number )。
    a   添加使用者输入的资料。
    b   label 将执行的指令跳至由 : 建立的参考位置。
    c   以使用者输入的资料取代资料。
    d  删除资料。
    D  删除 pattern space 内第一个 newline 字母 前的资料。
    g   拷贝资料从 hold space。
    G  添加资料从 hold space 至 pattern space 。
    h  拷贝资料从 pattern space 至 hold space 。
    H  添加资料从 pattern space 至 hold space 。
    l   印出 l 资料中的 nonprinting character 用 ASCII 码。
    i   插入添加使用者输入的资料行。
    n  读入下一笔资料。
    N  添加下一笔资料到 pattern space。
    p  印出资料。
    P  印出 pattern space 内第一个 newline 字母 前的资料。
    q  跳出 sed 编辑。
    r  读入它档内容。
    s  替换字串。
    w  写资料到它档内。
    x  交换 hold space 与 pattern space 内容。
    y  转换(transform)字元。


    虽然 , sed 只有上表所述几个拥有基本编辑功能的函数 , 但由指令中位址参数和指令与指令间的配合 , 也能使
    sed 完成大部份的编辑任务。

    下面是一些实例说明:

    删除:d命令
    $ sed '2d' example-----删除example文件的第二行。
    $ sed '2,$d' example-----删除example文件的第二行到末尾所有行。
    $ sed '$d' example-----删除example文件的最后一行。
    $ sed '/test/'d example-----删除example文件所有包含test的行。
           

    替换:s命令
    $ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记,则只有每行第一个匹配的test被替换成mytest。
    $ sed -n 's/^test/mytest/p' example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印它。
    $ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost,变成192.168.0.1localhost。
    $ sed -n 's/(love)able/1rs/p' example-----love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。
    $ sed 's#10#100#g' example-----不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替换成100。

    选定行的范围:逗号
    $ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。
    $ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。
    $ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行,每行的末尾用字符串sed test替换。
            

    多点编辑:e命令
    $ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执 行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。
    $ sed --expression='s/test/check/' --expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。
    从文件读入:r命令
    $ sed '/test/r file' example-----file里的内容被读进来,显示在与test匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面。
    写入文件:w命令
    $ sed -n '/test/w file' example-----在example中所有包含test的行都被写入file里。
    追加命令:a命令 
    $ sed '/^test/a\--->this is a example' example<-----'this is a example'被追加到以test开头的行后面,sed要求命令a后面有一个反斜杠。
    插入:i命令
    $ sed '/test/i\new line-------------------------' example
    如果test被匹配,则把反斜杠后面的文本插入到匹配行的前面。
    下一个:n命令 
    $ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。
    变形:y命令
    $ sed '1,10y/abcde/ABCDE/' example-----把1--10行内所有abcde转变为大写,注意,正则表达式元字符不能使用这个命令。
    退出:q命令
    $ sed '10q' example-----打印完第10行后,退出sed。
    保持和获取:h命令和G命令
    $ sed -e '/test/h' -e '$G example-----在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将 打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。在这个例子里,匹配test的行被找到后,将存入模式空间,h命令将其复制并存入一个称为保 持缓存区的特殊缓冲区内。第二条语句的意思是,当到达最后一行后,G命令取出保持缓冲区的行,然后把它放回模式空间中,且追加到现在已经存在于模式空间中 的行的末尾。在这个例子中就是追加到最后一行。简单来说,任何包含test的行都被复制并追加到该文件的末尾。
    保持和互换:h命令和x命令 
    $ sed -e '/test/h' -e '/check/x' example -----互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。

    还有更多实例可以该文章参考:《收集整理比较全 shell sed 命令与实例教程》http://www.linuxde.net/2012/02/7390.html

    最后,回到最初提到的那个问题:用shell命令将test.log文件中第3-5行的第2个”filter”替换成”haha”

    学习过上面的之后很容易就知道一行命令就能解决:

    sed -i '3,5s/filter/haha/2' test.log
  • 相关阅读:
    编译linux内核问题
    linux驱动路径
    plateform_driver_register和plateform_device_register区别
    linux总线、设备和设备驱动的关系
    linux设备驱动模型
    一堆Offer怎么选?这样做就不纠结了
    解决问题最简单的方法
    Android ScrollView嵌套GridView导致GridView只显示一行item
    84. Spring Boot集成MongoDB【从零开始学Spring Boot】
    接手别人的代码,死的心有吗?
  • 原文地址:https://www.cnblogs.com/giraffe/p/sed-in-shell.html
Copyright © 2011-2022 走看看