linux sed命令详解

sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法
sed命令行格式为：
         sed [-nefri] ‘command’ 输入文本        

常用选项：
        -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
        -e∶直接在指令列模式上进行 sed 的动作编辑；
        -f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
        -r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
        -i∶直接修改读取的档案内容，而不是由屏幕输出。       

常用命令：
        a   ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
        c   ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
        d   ∶删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
         i   ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
         p  ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
         s  ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

举例：（假设我们有一文件名为ab）
     删除某行
      # sed '1d' ab              #删除第一行 
      # sed '$d' ab              #删除最后一行
      # sed '1,2d' ab           #删除第一行到第二行
      # sed '2,$d' ab           #删除第二行到最后一行

　　显示某行
.     # sed -n '1p' ab           #显示第一行 
      # sed -n '$p' ab           #显示最后一行
      # sed -n '1,2p' ab        #显示第一行到第二行
      # sed -n '2,$p' ab        #显示第二行到最后一行

　　使用模式进行查询
      # sed -n '/ruby/p' ab    #查询包括关键字ruby所在所有行
      # sed -n '/$/p' ab        #查询包括关键字$所在所有行，使用反斜线屏蔽特殊含义

　　增加一行或多行字符串
# cat ab
     Hello!
     ruby is me,welcome to my blog.
     end

# sed '1a drink tea' ab  #第一行后增加字符串"drink tea"
     Hello!
     drink tea
     ruby is me,welcome to my blog. 
     end
     

# sed '1,3a drink tea' ab #第一行到第三行后增加字符串"drink tea"
     Hello!
     drink tea
     ruby is me,welcome to my blog.
     drink tea
     end
     drink tea

# sed '1a drink tea or coffee' ab   #第一行后增加多行，使用换行符
     Hello!
     drink tea
     or coffee
     ruby is me,welcome to my blog.
     end

　　代替一行或多行
# sed '1c Hi' ab                #第一行代替为Hi
     Hi
     ruby is me,welcome to my blog.
     end

# sed '1,2c Hi' ab             #第一行到第二行代替为Hi
     Hi
     end

　　替换一行中的某部分
　　格式：sed 's/要替换的字符串/新的字符串/g'   （要替换的字符串可以用正则表达式）
# sed -n '/ruby/p' ab | sed 's/ruby/bird/g'    #替换ruby为bird

# sed -n '/ruby/p' ab | sed 's/ruby//g'        #删除ruby

     插入
# sed -i '$a bye' ab         #在文件ab中最后一行直接输入"bye"

# cat ab
     Hello!
     ruby is me,welcome to my blog.
     end
     bye

     删除匹配行

      sed -i '/匹配字符串/d'  filename  （注：若匹配字符串是变量，则需要“”，而不是‘’。记得好像是）

      替换匹配行中的某个字符串

      sed -i '/匹配字符串/s/替换源字符串/替换目标字符串/g' filename

定位日志

在系统应用集中部署的时候，很多日志因为太多难以定位，获取某段时间的日志是对运维人员非常关键的事情。

sed查看某时间段到现在的系统日志：

sed  -n  '/May 20 17/,$p'   /var/log/messages  |  less

sed 截选时间段日志


首先看一下日志的格式：


2010-11-17 09:25:55,606 [catalina-exec-74] INFO org.springframework.jdbc.datasource.JdbcTransactionObjectSupport  - JDBC 3.0 Savepoint class is available
2010-11-17 09:25:55,658 [catalina-exec-74] WARN org.hibernate.util.JDBCExceptionReporter  - SQL Error: 0, SQLState: null
2010-11-17 09:25:55,606 [catalina-exec-74] INFO org.springframework.jdbc.datasource.JdbcTransactionObjectSupport  - JDBC 3.0 Savepoint class is available2010-11-17 09:25:55,658 [catalina-exec-74] WARN org.hibernate.util.JDBCExceptionReporter  - SQL Error: 0, SQLState: null


……


ession for transaction; nested exception is org.hibernate.exception.GenericJDBCException: Cannot open connection


at org.springframework.util.ReflectionUtils.handleReflectionException(ReflectionUtils.java:58)


at com.lottery.common.action.CommonAction.init(CommonAction.java:110)


2010-11-17 09:28:08,227 [main] INFO org.springframework.web.filter.CharacterEncodingFilter – Initializing filter ‘CharacterEncodingFilter’


根据日志格式，需要将11-17的09:25:55 和09:28:08 之间的日志截取出来,。


使用sed命令如下：


sed -n ‘/2010-11-17 09:25:55/,/2010-11-17 09:25:55/p’  logfile


这样可以精确地截取出来某个时间段的日志。


但是问题又来了，由于日志文件巨大，不能去vi打开文件。


根据之前看到过的日志格式，使用正则表达式。


sed -n ‘/2010-11-17 09:[0-9][0-9]:[0-9][0-9]/,/2010-11-17 16:[0-9][0-9]:[0-9][0-9]/p’  logfile


如果没有问题的话，上面就能筛选出指定的时间段的日志。