别人的Linux私房菜（12）正则表达式与文件格式化处理

vi gerp awk sed支持正则表达式   cp ls不支持，只能使用bash本身的通配符

正则表达式分为基础正则表达式和拓展正则表达式

 使用正则表达式注意语系的影响

 http://cn.linux.vbird.org/linux_basic/0330regularex_2.php

grep  查找字符

-A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来；
-B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来；

 如：demsg列出内核信息，dmesg | grep ‘qx1’       

列出行号并不同颜色标记：dmesg | grep -n --color=auto ‘qx1’ 

显示关键词的前二行后三行并标记 dmesg | grep -n -A3 -B2 --color=auto ‘qx1’ 

 查找特定字符串：grep -n 'the' regular_express.txt

 利用中括号 [] 来搜寻集合字节：查找tast和test：grep -n 't[ae]st' regular_express.txt

 反向选择^，取出不含g的oo：grep -n '[^g]oo' regular_express.txt

　　　　　　不包含小写的oo：grep -n '[^a-z]oo' regular_express.txt

 　　　　　　　　　　　　　　grep -n '[^[:lower:]]oo' regular_express.txt

 行首字节^，取出行首为小写字母的行：grep -n '^[a-z]' regular_express.txt

　　　　　　　　　　　　　　　　　　grep -n '^[[:lower:]]' regular_express.txt

 行尾字节$，取出行尾为.的行：grep -n '.$' regular_express.txt

 　　　　cat -An regular_express.txt#显示所有字符，行号

 　　　　去掉空白与注释行：grep -v '^$' /etc/syslog.conf | grep -v '^#'

一定有一个任意字符.：取出包含两个任意字符的gxxd：grep -n 'g..d' regular_express.txt

重复前一个字符0到无穷次：找出两个o及以上的字符串列出：grep -n 'ooo*' regular_express.txt

限定连续正则表达式的字符范围{}：找出两个o的字符串行：grep -n 'o{2}' regular_express.txt

　　　　　　　　　　　　　　　找出两个o到5个o的字符串行：grep -n 'go{2,5}g' regular_express.txt

　　　　　　　　　　　　　　　找出两个o及以上的字符串行：grep -n 'go{2,}g' regular_express.txt

找出文件中的属性为链接：ls -l /etc | grep '^l'

sed处理数据，替换删除，新增选取等

-n ：列出经过sed 特殊处理的那一行
-e ：直接在命令列模式上进行 sed 的动作编辑；
-i ：直接修改读取的文件内容

a新增，c行替换，d删除，i插入，p打印，s替换。如1,20s/old/new/g

sed的动作使用单引号

如：将2-5行删除，默认增加了e选项：nl /etc/passwd | sed '2,5d'    

删除第二行：nl /etc/passwd | sed '2d'   删除第二行到最后一行：nl /etc/passwd | sed '2,$d'

第二行后插入：nl /etc/passwd | sed '2a Drink tea or ...... drink beer ?'  插入添加的新行用表示。

第二行前插入：nl /etc/passwd | sed '2i Drink tea or ...... drink beer ?'  插入添加的新行用表示。

将二到五行取代为其他字符串No 2-5 number：nl /etc/passwd | sed '2,5c No 2-5 number'

列出文件中的五到七行：nl /etc/passwd | sed -n '5,7p'

取出文本中含有inet addr的部分并删除开头为.*addr:的部分：/sbin/ifconfig eth0 | grep 'inet addr' |  sed 's/^.*addr://g'

取出文本中含有MAN的部分并删除注释行，空白行的部分：cat /etc/man_db.conf | grep 'MAN'| sed 's/#.*$//g' | sed '/^$/d'

修改文件中行尾为.的变为！：sed -i 's/.$/!/g' regular_express.txt

在文本行尾增加 # This is a test： sed -i '$a # This is a test' regular_express.txt

拓展正则表达式：

http://cn.linux.vbird.org/linux_basic/0330regularex_3.php

 使用printf进行的格式化输出：

例如：printf '%s %s %s %s %s ' $(cat printf.txt)

将ASCII对应的字符输出：printf 'x45 '

 awk数据处理工具，默认的分隔符为空格键或tab

 执行方案为：awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

 使用awk工具显示第一列和第三列，$0代表所有列，$1第一列：last -n 5 | awk '{print $1 " " $3}'

 执行步骤为：1每次读取一行，2判定，3执行操作，4进行后续行的判定和执行。

 NF每行字段总数，NR正在处理第几行，FS分割字符为。

 如显示每次处理的行号和字段总数：last -n 5| awk '{print $1 " lines: " NR " columns: " NF}'

 显示，开始前就预设以冒号分隔，第三列的值小于10，则显示第1和第三列：cat /etc/passwd | awk 'BEGIN {FS=":"} $3 < 10 {print $1 " " $3}'

 awk的花括号里面支持if语句。

文件对比工具diff

diff [-bBi] from-file to-file

如对比文件：diff passwd.old passwd.new

显示左边第x行被  删除 (d)   取代 (c)  掉，以右边文件第x行为基准的情况下。

对比目录：diff /etc/rc3.d/ /etc/rc5.d/

cmp对比两个文件内容，默认只显示第一个不同点：

例如：cmp passwd.old passwd.new

patch和diff配合，进行文件的升级和还原

制作文件差异补丁：diff -Naur passwd.old passwd.new > passwd.patch

-p为取消几层目录，如补丁文件和升级或还原文件在同一目录下则不需要取消目录。

-R文件恢复成为旧版本。

文件升级：patch -p0 < passwd.patch

文件还原：patch -R -p0 < passwd.patch

文件列印准备pr：

如 ：pr /etc/man.config

增加了时间，文档名，页码信息...