【参考文章】：linux awk命令详解
【参考文章】：awk 入门教程——阮一峰的网络日志
【参考文章】：awk substr()函数
【传送门】：awk命令系列学习
1. 简介
awk 是一种处理文本文件的语言，是一个强大的文本分析工具。
awk 其实不仅仅是工具软件，还是一种编程语言。
awk 是以文件的一行内容为处理单位的。awk读取一行内容，然后根据指定条件判断是否处理此行内容，若此行文本符合条件，则按照动作处理文本，否则跳过此行文本，读取下一行进行判断。
2. 基本用法
condition：条件。若此行文本符合该条件，则按照 action 处理此行文本。不添加条件时则处理每一行文本；
action：动作。按照动作处理符合要求的内容。一般用于打印指定的内容信息；
注意下面的引号为英文的单引号
2.1 处理指定文件的内容
awk 'condition { action }' filename
2.2 处理某个命令的执行结果
command | awk ' condition { action }'
2.3 常用参数
2.3.1 F（指定字段分隔符）
默认使用空格作为分隔符。
[root@localhost awk]# echo "aa bb cc dd ee ff" | awk '{print $1}' aa [root@localhost awk]# echo "aa bb l cc dd l ee ff" | awk -F 'l' '{print $1}' aa bb [root@localhost awk]# echo "aa bb cc : dd ee ff" | awk -F ':' '{print $1}' aa bb cc
3. 变量
3.1 FS（字段分隔符）
默认是空格和制表符。
$0 表示当前整行内容，$1，$2 表示第一个字段，第二个字段
[root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $0}' aa bb cc dd [root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $1}' aa [root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $2}' bb
3.2 NF（当前行的字段个数）
$NF就代表最后一个字段，$(NF-1)代表倒数第二个字段
[root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $NF}' dd [root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $(NF-1)}' cc
不打印某一行
不打某一行时，将对应列设置为空字符串即可，用 $NF=""，设置多列时用分号分隔开
[root@VM_4_9_centos ~]# cat aa.txt a285wkdp5dcxm-lrst-7b97f79c5c-rwqrw 2/2 Running 0 4d a2csvhvnqlld2-zmsp-7df5499f79-r9plz 2/2 Running 75 41d a42fz6kc9wzsp-8bc8-5799c7d977-h69nt 2/2 Running 0 5d2h
// 不打印最后一行 [root@VM_4_9_centos ~]# cat aa.txt | awk '{$NF="";print $0}' a285wkdp5dcxm-lrst-7b97f79c5c-rwqrw 2/2 Running 0 a2csvhvnqlld2-zmsp-7df5499f79-r9plz 2/2 Running 75 a42fz6kc9wzsp-8bc8-5799c7d977-h69nt 2/2 Running 0
// 不打印最后两行 [root@VM_4_9_centos ~]# cat aa.txt | awk '{$(NF-1)="";$NF="";print $0}' a285wkdp5dcxm-lrst-7b97f79c5c-rwqrw 2/2 Running a2csvhvnqlld2-zmsp-7df5499f79-r9plz 2/2 Running a42fz6kc9wzsp-8bc8-5799c7d977-h69nt 2/2 Running
3.3 NR (当前处理的是第几行)
打印当前行号和当前文本内容
[root@localhost awk]# cat test.txt aa ss dd ff gg hh [root@localhost awk]# cat test.txt | awk '{print NR")", $0}' 1) aa ss 2) dd ff 3) gg hh
逗号表示输出的变量之间用空格分隔；
右括号必需使用 双引号 才可以原样输出
打印指定行内容：
[root@localhost S17]# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode) [root@localhost S17]# java -version 2>&1 | awk 'NR==1 {print $0}' java version "1.8.0_131" [root@localhost S17]#
3.4 FILENAME(当前文件名)
[root@localhost awk]# awk '{print FILENAME, NR")", $0}' test.txt test.txt 1) aa ss test.txt 2) dd ff test.txt 3) gg hh [root@localhost awk]# cat test.txt | awk '{print FILENAME, NR")", $0}' - 1) aa ss - 2) dd ff - 3) gg hh
awk '{ condition action }' filename 这种形式时可以打印文件名；
通过 |（管道符）读取内容时打印的是 -
3.5 其他变量
- RS：行分隔符，用于分割每一行，默认是换行符。
- OFS：输出字段的分隔符，用于打印时分隔字段，默认为空格。
- ORS：输出记录的分隔符，用于打印时分隔记录，默认为换行符。
- OFMT：数字输出的格式，默认为％.6g。
4. 函数
4.1 print 和 printf
awk中同时提供了print和printf两种打印输出的函数。
print函数，参数可以是变量、数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有逗号，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。
printf函数，其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时，printf更加好用，代码更易懂。
4.2 其他函数
- toupper()：字符转为大写。
- tolower()：字符转为小写。
- length()：返回字符串长度。
- substr()：返回子字符串。
- substr($1,2)：返回第一个字段，从第2个字符开始一直到结束。
- substr($1,2,3)：返回第一个字段，从第2个字符开始开始后的3个字符。
- sin()：正弦。
- cos()：余弦。
- sqrt()：平方根。
- rand()：随机数。
4.2.1 示例
[root@localhost awk]# echo "aa bb cc dd ee ff" | awk '{print toupper($1)}' AA [root@localhost awk]# echo "aa BB cc dd ee ff" | awk '{print tolower($2)}' bb [root@localhost awk]# echo "aa BB cc dd ee ff" | awk '{print length($2)}' 2 [root@localhost awk]# echo "asdfghj" | awk '{print substr($1,2,3)}' sdf
5. 条件
awk 允许指定输出条件，只输出符合条件的行。
awk ' 条件 {动作 }' 文件名
条件有以下几种：
5.1 正则表达式
特殊字符需要转义
[root@localhost awk]# cat exp.txt /stsvc/fms/conf/application.yml /stsvc/sms/conf/application.yml /stsvc/tms/conf/application.yml /root/home/chenfan /root/home/jhhuang [root@localhost awk]# cat exp.txt | awk '/stsvc/ {print $0}' 包含 stsvc 的行 /stsvc/fms/conf/application.yml /stsvc/sms/conf/application.yml /stsvc/tms/conf/application.yml [root@localhost awk]# cat exp.txt | awk '/stsvc/fms/ {print $0}' 包含 stsvc/fms 的行 /stsvc/fms/conf/application.yml
5.2 布尔值判断
[root@localhost awk]# cat exp.txt | awk 'NR==2 {print $0}' 等于第二行 /stsvc/sms/conf/application.yml [root@localhost awk]# cat exp.txt | awk 'NR>4 {print $0}' 大于第四行 /root/home/jhhuang [root@localhost awk]# cat exp.txt | awk 'NR%2==1 {print $0}' 奇数行 /stsvc/fms/conf/application.yml /stsvc/tms/conf/application.yml /root/home/jhhuang
某个字段等于具体值
[root@localhost awk]# cat test.txt aa ss dd ff gg hh [root@localhost awk]# cat test.txt | awk ' $2=="ff" {print $0}' dd ff
5.3 if 语句
[root@localhost awk]# echo "aa ss dd" | awk '{ if($3 == "dd") print $0; else print "nothing"}' aa ss dd [root@localhost awk]# echo "aa ss dds" | awk '{ if($3 == "dd") print $0; else print "nothing"}' nothing