SHELL —— grep命令+正则表达式

一 什么是正则

正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。
　　生活中处处都是正则：
　　比如我们描述：4条腿
　　你可能会想到的是四条腿的动物或者桌子，椅子等
　　继续描述：4条腿，活的
　　就只剩下四条腿的动物这一类了

在linux中，通配符是由shell解释的，而正则表达式则是由命令解释的，下面我们就为大家介绍grep文本处理命令，它也可以解释正则。

二 grep

参数

-n  :显示行号
-o  :只显示匹配的内容
-q  :静默模式，没有任何输出，得用$?来判断执行成功没有，即有没有过滤到想要的内容

-l  ：如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl 'root' /etc 
-A  :如果匹配成功，则将匹配行及其后n行一起打印出来
-B  :如果匹配成功，则将匹配行及其前n行一起打印出来
-C  :如果匹配成功，则将匹配行及其前后n行一起打印出来
--color
-c  :如果匹配成功，则将匹配到的行数打印出来
-E  :等于egrep，扩展
-i  ：忽略大小写

-v  :取反，不匹配
-w：匹配单词，单词的意思是特殊符号隔开的英文字母组合，对象中的正则表达式都会当成单词（前后有特殊符号）。

[root@MiWiFi-R3-srv ~]# cat a.txt 
root123
ROot asdf
Root_123
rOOtss
root 123
[root@MiWiFi-R3-srv ~]# grep -i "root" a.txt 
root123
ROot asdf
Root_123
rOOtss
root 123
[root@MiWiFi-R3-srv ~]# grep -w "root" a.txt 
root 123

三 grep种类
grep   全面搜索正则表达式并把行打印出来
fgrep   它搜索字符串而不是搜索匹配表达式的模式。fgrep 命令使用快速的压缩算法。$, *, [, |, (, )和等字符串被 fgrep 命令按字面意思解释。这些字符并不解释为正则表达式
pgrep   以名称为依据从运行进程队列中查找进程，并显示查找到的进程id。
egrep   用于在文件内查找指定的字符串。egrep执行效果与grep -E相似，使用的语法及参数可参照grep指令，与grep的不同点在于解读字符串的方法。

四 正则介绍

正则表达式	描述	示例	Basic RegEx	Extended RegEx	Python RegEx	Perl regEx
	转义符，将特殊字符进行转义，忽略其特殊意义	a.b匹配a.b，但不能匹配ajb，.被转义为特殊意义
^	匹配行首，awk中，^则是匹配字符串的开始	^tux匹配以tux开头的行	^	^	^	^
$	匹配行尾，awk中，$则是匹配字符串的结尾	tux$匹配以tux结尾的行	$	$	$	$
.	匹配除换行符 之外的任意单个字符，awk则中可以	ab.匹配abc或bad，不可匹配abcd或abde，只能匹配单字符	.	.	.	.
[]	匹配包含在[字符]之中的任意一个字符	coo[kl]可以匹配cook或cool	[]	[]	[]	[]
[^]	匹配[^字符]之外的任意一个字符（不匹配字符组内的每个字符)	123[^45]不可以匹配1234或1235，1236、1237都可以	[^]	[^]	[^]	[^]
[-]	匹配[]中指定范围内的任意一个字符，要写成递增	[0-9]可以匹配1、2或3等其中任意一个数字	[-]	[-]	[-]	[-]
?	匹配之前的项1次或者0次	colou?r可以匹配color或者colour，不能匹配colouur	不支持	?	?	?
+	匹配之前的项1次或者多次	sa-6+匹配sa-6、sa-666，不能匹配sa-	不支持	+	+	+
*	匹配之前的项0次或者多次	co*l匹配cl、col、cool、coool等	*	*	*	*
()	匹配表达式，创建一个用于匹配的子串	ma(tri)?匹配max或maxtrix	不支持	()	()	()
{n}	匹配之前的项n次，n是可以为0的正整数	[0-9]{3}匹配任意一个三位数，可以扩展为[0-9][0-9][0-9]	不支持	{n}	{n}	{n}
{n,}	之前的项至少需要匹配n次	[0-9]{2,}匹配任意一个两位数或更多位数	不支持	{n,}	{n,}	{n,}
{n,m}	指定之前的项至少匹配n次，最多匹配m次，n<=m	[0-9]{2,5}匹配从两位数到五位数之间的任意一个数字	不支持	{n,m}	{n,m}	{n,m}
|	交替匹配|两边的任意一项	ab(c|d)匹配abc或abd	不支持	|	|	|

应用举例：

.* 所有字符

^[^] 非字符组内的字符开头的行

[a-z] 小写字母

[A-Z] 大写字母

[a-Z] 小写和大写字母

[0-9] 数字

< 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词

> 单词尾

扩展正则 sed 加 -r 参数 或转义

grep 加 -E 或 egrep 或转义

sed -n '/roo?/p' /etc/passwd 

sed -rn '/roo?/p' /etc/passwd

abc|def abc或def

a(bc|de)f abcf 或 adef

x{m} x出现m次

x{m,} x出现m次至多次(至少m次)

x{m,n} x出现m次至n次

posix定义的字符分类

 

[:alnum:] Alphanumeric characters.

匹配范围为 [a-zA-Z0-9]

[:alpha:] Alphabetic characters.

匹配范围为 [a-zA-Z]

[:blank:] Space or tab characters.

匹配范围为 空格和TAB键

[:cntrl:] Control characters.

匹配控制键 例如 ^M 要按 ctrl+v 再按回车 才能输出

[:digit:] Numeric characters.

匹配所有数字 [0-9]

[:graph:] Characters that are both printable and visible. (A space is print-

able, but not visible, while an a is both.)

匹配所有可见字符 但不包含空格和TAB 就是你在文本文档中按键盘上能用眼睛观察到的所有符号

[:lower:] Lower-case alphabetic characters.

小写 [a-z]

[:print:] Printable characters (characters that are not control characters.)

匹配所有可见字符 包括空格和TAB

能打印到纸上的所有符号

[:punct:] Punctuation characters (characters that are not letter, digits, con-

trol characters, or space characters).

特殊输入符号 +-=)(*&^%$#@!~`|"'{}[]:;?/>.<,

注意它不包含空格和TAB

这个集合不等于^[a-zA-Z0-9]

[:space:] Space characters (such as space, tab, and formfeed, to name a few).

 

[:upper:] Upper-case alphabetic characters.

大写 [A-Z]

[:xdigit:] Characters that are hexadecimal digits.

16进制数 [0-f]

 

使用方法:

[root@seker ~]# grep --color '[[:alnum:]]' /etc/passwd

定义变量名的边界

[root@MiWiFi-R3-srv ~]# rest_mem=20
[root@MiWiFi-R3-srv ~]# echo ${rest_mem}%
20%

五 运算符

算术运算符：+、-、*、/、%

[root@MiWiFi-R3-srv ~]# echo $[3+1]
4

关系操作：与(（）)连用

<    >     <=     >=     ==     !=     &&     ||

test命令相关，[]可以达到一样的效果
[root@MiWiFi-R3-srv ~]# x=1
[root@MiWiFi-R3-srv ~]# [ $x -gt 1 ]
[root@MiWiFi-R3-srv ~]# echo $?
0

赋值运算符

=     +=     *=     /=     %=

[root@MiWiFi-R3-srv ~]# x=10
[root@MiWiFi-R3-srv ~]# ((x%3))
[root@MiWiFi-R3-srv ~]# echo $x
10
[root@MiWiFi-R3-srv ~]# 
[root@MiWiFi-R3-srv ~]# ((x%=3))
[root@MiWiFi-R3-srv ~]# echo $x
1

shell里的所有计算器
$[] (()) $(()) expr bc bc -l

浮点运算：yum install bc -y

[root@MiWiFi-R3-srv ~]# echo 'scale=2;1/3'|bc -l
.33

测试操作

命令执行后会返回到一个系统变量中 $?
如果$?值为0 表示命令执行成功 否则为失败

测试命令 test [ ] [[ ]] (( ))
打开man test 逐一介绍每个参数

测试文件状态
-d 目录
-s 文件长度 > 0、非空
-f 正规文件
-w 可写

-r 可读

-x 可执行

-L 符号连接

-u 文件有 suid 位设置

字符串测试

= 两个字符串相等
!= 两个字符串不相等
-z 空串
-n 非空串

[root@MiWiFi-R3-srv ~]# var1='abc'
[root@MiWiFi-R3-srv ~]# var2='123'
[root@MiWiFi-R3-srv ~]# [ $var1 == $var2 ]
[root@MiWiFi-R3-srv ~]# echo $?
1

测试数值

-eq 等于
-ne 不等于
-gt 大于
-lt 小于
-ge 大于等于
-le 小于等于

[root@MiWiFi-R3-srv ~]# [ 10000 -gt 250 ] #不要使用大于号小于号等于号等，要使用man test中规定的，详见下一小节4拓展
[root@MiWiFi-R3-srv ~]# echo $?
0

拓展测试符号 [[ ]] (())

数字测试符号
# [ 10 < 2 ] # 语法错误
-bash: 2: 没有那个文件或目录
# 

# [[ 2 > 10 ]] # 结果错误
# echo $?
0
# [[ 20 > 10 ]] # 正确
# echo $?
0
# (( 10 < 20 ))
# echo $?
0

字符测试
# [ "aa" = "aa" ]
# echo $?
0
# [[ "aa" = "aa" ]]
# echo $?
0
# (( "aa" = "aa" )) #结果错误
# echo $?
1
混合测试
# [ a = a -a 10 < 20 ]
-bash: 20: 没有那个文件或目录
[root@seker ~]# [[ a = a -a 10 < 20 ]]
-bash: syntax error in conditional expression
-bash: syntax error near `-a'
[root@seker ~]# [[ a = a && 10 < 20 ]]
[root@seker ~]# echo $?
0
[root@seker ~]# [[ a = a || 10 < 20 ]]
[root@seker ~]# echo $?
0
[root@seker ~]# (( a = a || 10 < 20 ))
[root@seker ~]# echo $?
0
[root@seker ~]# (( a = a && 10 < 20 ))
[root@seker ~]# echo $?
0
[root@seker ~]# 
结论: 
比较数字,使用(( ))
其他测试使用 [[ ]]
包含数字比较的混合测试,使用[[ expr1 && expr2 ]] (( expr1 || expr2 ))

两个文件的比较
FILE1 -ef FILE2
测试两个文件是否是相同的inode
有时为了找到同一个INODE号的文件 更倾向于使用 find 命令的 -inum 或 --samefile

FILE1 -nt FILE2
FILE1 is newer (modification date) than FILE2

FILE1 -ot FILE2
FILE1 is older than FILE2