正则表达式grep学习(一)

文本处理三剑客
grep
       文本过滤
sed
       流过滤
awk
       格式处理

正则表达式
就是一些特殊字符组成的模式，赋予了他特定的含义

在大多数程序里，正则表达式都被置于两个正斜杠之间；例如/l[o0]ve/就是由正斜杠界定的正则表达式，它将匹配被查找的行中任何位置
出现的相同模式。在正则表达式中，元字符是最重要的概念。

正则表达式的作用:

在企业工作中，我们每天做的linux运维工作中，时刻都会面对大量带有字符串的文本配置、程序、命令输出以及日志文件等,而我们经常会
有迫切的需要，从大量的字符串内容中查找符号工作需要特定的字符串。着就要靠正则表达式。因此，可以说正则表达式就是为了过滤这样
字符串的需求而生的！

1)inux正则表达式grep，sed，awk
2)大量的字符串文件需要进行配置，而且非交互式的
3)过滤相关的字符串，匹配字符串，打印字符串

正则表达式注意事项:
1)正则表达式应用非常广泛，存在于各种语言中，例如：php，java，python等
2)正则表达式和通配符特殊字符是有本质区别的
3)想要学号grep、sed、awk首先就要掌握正则表达式

通配符

1)*   
    任意字符
[root@xiaoming re]# ls /etc/*host*
/etc/host.conf  /etc/hostname  /etc/hosts  /etc/hosts.allow  /etc/hosts.deny
    
2)?
    任意单个字符
[root@xiaoming re]# ls /etc/host?
/etc/hosts
    
3)[]
    范围 [a-z] [A-Z] [0-9]
[root@xiaoming re]# ls
14asd  55ad  5Asad  ASASD  asdas  Dasd  sasdA  sddd    
[root@xiaoming re]# ls [a-z]*
ASASD  asdas  Dasd  sasdA  sddd
[root@xiaoming re]# ls [0-9][0-9]*
14asd  55ad
[root@xiaoming re]# ls [a-z][A-Z][a-z]*
ASASD  asdas  sddd
[root@xiaoming re]# ls [a-zA-Z0-9]*
14asd  55ad  5Asad  ASASD  asdas  Dasd  sasdA  sddd
    
4){}
    序列   
[root@xiaoming re]# touch {1..10}
[root@xiaoming re]# ls
1  10  2  3  4  5  6  7  8  9

[root@xiaoming re]# touch {01..10}
[root@xiaoming re]# ls
01  02  03  04  05  06  07  08  09  10

//批量增加用户脚本
[root@xiaoming re]# cat useradd.sh 
for i in {00..10}
do 
useradd oldboy$i
done

特殊字符：

""     可以引用特殊字符,比如$
''     所见即所得
``=$() 命令,优先执行 

#      注释行；命令提示符身份
$      变量；命令提示符身份

;      cmd1;cmd2 表示先执行cmd1，再执行cmd2
&&     cmd1 && cmd2 表示cmd1执行成功后，再执行cmd2
||     cmd1 || cmd2 表示cmd1执行失败后，再执行cmd2

!      取反
       history,调用之前的命令
       
重定向
<
>
>>
2>
2>>
&>/dev/null
    1>/dev/null 2>&1
    1>/dev/null 2>/dev/null

管道符
|

~       家目录
.       
        当前目录
        在文件名前面，表示隐藏
        chown改属组
..
        上一级目录
-
        文件类型，普通文件
        cd - 进入上次目录
        su - 切换用户
%
+
        chmod加属性

[root@xiaoming re]# name=xiaoming
[root@xiaoming re]# echo 'my name is $name'
my name is $name
[root@xiaoming re]# echo "my name is $name"
my name is xiaoming
[root@xiaoming re]# echo my name is $name
my name is xiaoming
[root@xiaoming re]# test="my name is $name"
[root@xiaoming re]# echo $name
xiaoming
[root@xiaoming re]# test1=echo my name is $name
-bash: my: 未找到命令

grep,默认以行为单位

命令选项
-i  忽略大小写 
[root@xiaoming re]# grep documentroot /etc/httpd/conf/httpd.conf 
[root@xiaoming re]# grep -i documentroot /etc/httpd/conf/httpd.conf 
# DocumentRoot: The directory out of which you will serve your
DocumentRoot "/var/www/html"
    # access content that does not live under the DocumentRoot.
--color=auto 高亮显示
    centos6默认没做别名，可以自己添加别名    
-o  详细过程，显示满足条件的字符
-v  反向过滤
-E  egrep
-q  静默输出
    不需要看命令输出，只提供命令执行状态来判断是否执行成功
-n  显示行号  

正则表达式实战

正则表达式：
BRE:基础正则
grep
ERE:扩展正则
egrep
grep -E

基础正则表达式

字符匹配：
.           匹配任意单个字符：除开空行
[ ]         匹指定范围内的任意单个字符
[^ ]        匹配指定范围外的任意单个字符
[[:space:]] 空白字符       
[[:digit:]] 所有数字       [0-9]
[[:lower:]] 所有小写字母   [a-z]
[[:upper:]] 所有大写字母   [A-Z]
[[:alpha:]] 所有大小写字母 [a-zA-Z] [a-Z]
[[:alnum:]] 所有字母和数字 [a-zA-Z0-9]
[[:punct:]] 所有标点符号

练习：
模板：

[root@xiaoming re]# cat re.txt 
I am oldboy teacher！
I teach linux.
test

I like badminton ball ,billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com
our site is http://www.oldboy.com
my qq num is 191868516.
not 191886888516.

案例1:验证''.'，匹配任意单个字符，可以使用-o来验证

[root@xiaoming re]# grep '.' re.txt 
I am oldboy teacher！
I teach linux.
test
I like badminton ball ,billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com
our site is http://www.oldboy.com
my qq num is 191868516.
not 191886888516.

案例2：验证[]里面无论写多少字符,都是或关系，只匹匹配单个字符案例2：验证[]里面无论写多少字符,都是或关系，只匹匹配单个字符

//过滤出包含所有小写字母和数字连在一起的两个字符
grep '[a-z][0-9]' re.txt 
//过滤出包含所有小写字母或数字8的单个字符
grep '[a-z8]' re.txt

匹配次数:用在要指定其出现的次数的字符的后面,用于限制其前面字符出现的字数

*           匹配其前面的字符任意次：0,1,多次;
                例如:grep "x*y"
                        abxy、aby、xxxxy、yab                
.*          匹配任意长度的任意字符;贪婪匹配
?          匹配其前面的字符1次或0次,也就是说其前面的字符是可有可无的;
+          匹配其前面的字符1次或多次,也就是说其前面的字符至少出现1次;
{m}       匹配其前面的字符m次,m是可以为0的正整数;
{m,n}     匹配其前面的字符至少m次,至多n次,n<=m;
{0,n}     至多n次;
{m,}      至少m次;

案例1:贪婪匹配

[root@xiaoming re]# grep -o "8*" re.txt
8
8
88
888
[root@xiaoming re]# grep -o "8" re.txt
8
8
8
8
8
8
8
//过滤出所有字符数字连在一起的字符串
[root@xiaoming re]#  grep '[a-z0-9]*' re.txt

案例2：过滤身份证号
分析：身份证号18位，前17位必须是数字，最后一位是数字或X

grep '^[0-9]{17}[0-9X]$' 1.txt

模板：
12121212125151515X
11111111111111111111
22222222222222222A
111111111111111111111111asd
11111111111111111a

案例3:精准匹配

[root@xiaoming re]# grep "8?" re.txt
I am oldboy teacher！
I teach linux.
test

I like badminton ball ,billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com
our site is http://www.oldboy.com
my qq num is 191868516.
not 191886888516.
[root@xiaoming re]# grep -o "8?" re.txt
8
8
8
8
8
8
8

案例4:

[root@xiaoming re]# grep -o "8+" re.txt
8
8
88
888
[root@xiaoming re]# grep "8+" re.txt
my qq num is 191868516.
not 191886888516.

案例5:

[root@xiaoming re]# grep  "8{1}" re.txt
my qq num is 191868516.
not 191886888516.
[root@xiaoming re]# grep -o "8{1}" re.txt
8
8
8
8
8
8
8
[root@xiaoming re]# grep -o "8{2}" re.txt
88
88
[root@xiaoming re]# grep -o "8{3}" re.txt
888

位置锚定:

^           匹配行首,awk中,^是匹配模式的最左侧
$           匹配行尾,awk中,$是匹配模式的最右侧
^PATTERN$   用PATTERNL来匹配整行
    ^$      空白行
    ^[[:space:]]*$:空行
    
     单词:非特殊字符组成的连续字符串都称为单词
     <或:词首锚定,用于单词的左侧
     >或:词尾锚定,用于单词的右侧
     <PATTERN>:匹配完整单词

案例1:过滤以小写字母开头的行
grep "^[a-z]" re.txt
grep "^[[:lower:]]" re.txt

案例2:过滤出不是以小写字母开头的行
grep "^[^a-z]" re.txt   #不包含空行,推荐
grep -v "^[a-z]" re.txt
注意:如果^和$在[]里面, 没有任何含义

案例3:过滤以大写字母开头的行
grep "^[A-Z]" re.txt
grep "^[[:uper:]]" re.txt

案例4:过滤出以m结尾的行
grep "m$" re.txt

查看文件内特殊字符：
[root@xiaoming re]# cat A re.txt 

案例5:过滤出以.结尾的行
grep ".$" re.txt
grep '[.]$' re.txt 
注意: .代表任意单个字符,所以要转义

案例6:过滤出不以.结尾的行
grep '[^.]$' re.txt 
grep -v '[.]$' re.txt 

案例7:过滤出空行，并列出行号
grep -n "^$" re.txt
上面的答案只能过滤空行，不能满足包含空格的行,下面才是正解
[root@xiaoming re]# grep -n "^[[:space:]]*$" re.txt
4:

案例8::过滤出非空行（空喊意味着什么都没有）
grep -v "^$" re.txt
     
案例9:
oldboy:x:1013:1013::/home/oldboy:/bin/bash
[root@xiaoming re]# grep "oldboy>" /etc/passwd
[root@xiaoming re]# grep "oldboy" /etc/passwd
oldboy:x:1013:1013::/home/oldboy:/bin/bash

扩展正则
相比标准正则的区别
grep -E
egrep

字符匹配：
|           交替匹配|两边的任意一项ab(c|d)匹配abc或abd
  
匹配次数:用在要指定其出现的次数的字符的后面,用于限制其前面字符出现的字数
*           匹配其前面的字符任意次：0,1,多次;
                例如:grep "x*y"
                        abxy、aby、xxxxy、yab                
.*          匹配任意长度的任意字符;贪婪匹配
?           匹配其前面的字符1次或0次,也就是说其前面的字符是可有可无的;
+           匹配其前面的字符1次或多次,也就是说其前面的字符至少出现1次;
()          匹配表达式,创建一个用于匹配的子串;
{m}         匹配其前面的字符m次,m是可以为0的正整数;
{m,n}       匹配其前面的字符至少m次,至多n次,n<=m;
{0,n}       至多n次;
{m,}        至少m次;

课后练习
基本正则练习：

1、找出/etc/passwd文件中的两位数或三位数的行
grep '<[0-9]{2,3}>' /etc/passwd

2、找出/etc/grub2.cfg文档中，至少一个空白字符开头,且后面非空白字符的行
grep '^[[:space:]]+[^[:space:]]+' /etc/grub2.cfg 

3、找出"netstat -ant" 命令的结果以"LISTEN"后跟0、1或多个空白字符结尾的行
netstat -ant | grep 'LISTEN[[:space:]]*'
netstat -ant | grep -i 'listen[[:space:]]*'

扩展正则练习：

1、找出/etc/passwd文件中的两位数或三位数的行
egrep '<[0-9]{2,3}>' /etc/passwd
grep -E '<[0-9]{2,3}>' /etc/passwd

2、找出/etc/grub2.cfg文档中，至少一个空白字符开头,且后面非空白字符的行
egrep '^[[:space:]]+[^[:space:]]+' /etc/grub2.cfg 

3、找出/prop/meminfo文件中,所有大写或小写s开头的行：至少三种实现方式
egrep '^(s|S)' /proc/meminfo 
egrep '^[sS]' /proc/meminfo 
egrep -i '^s' /proc/meminfo

4、显示当前系统上root、CentOS或user1用户的相关信息
egrep '^(root|CentOS|user1)>' /etc/passwd

5、找出/etc/init.d/functions文件中某单词后跟一个小括号的行
egrep '[_a-Z]+()' /etc/init.d/functions 

6、找出ifconfig命令结果中的1-255之间的数值
0-9      [0-9]
10-99    [1-9][0-9]
100-199 1[1-9][0-9]
200-255 2[0-4][0-9]
250-255 25[0-5]
ifconfig | egrep '<([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])>'

7、找出ifconfig命令结果中的ip地址
ifconfig | grep -Eoe "(([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5]).){3}([0-9]|[1-9][0-9]|1[0-9]{2}|2[0-4][0-9]|25[0-5])" -Eoe '^(e|b)[[:lower:]]+[[:digit:]]+?'