1、awk介绍【单独的编程语言解释器】
全称Aho Weinberger Kernaighan三个人的首字母缩写;
1970年第一次出现在Unix机器上，后来在开源领域使用它;
所以，我们在Linux中使用，改名为GNU awk;所以，在Linux 上实际上叫做gawk;
grep行过滤器
参数：-o只显示匹配内容 -i忽略大小写 -v取反 -E使用扩展正则表达式
sed行编辑器
参数：-n取消默认输出 p打印
使用方式有：地址定界，正则表达
命令：p a i w c s
awk报告生成器
通过模式匹配以及自己本身的语言格式，来获取、并输出客户所需要的内容；
awk -F: '{if($3>=1&&$3< = 500){print $3}}' /etc/passwd
# awk最后实现这个功能的时候只需要一句话就可以!
格式化输出的意义:
awk -F:-V OFS="." 'BEGIN{printf”username udi
===================
"{if($3>=18&$3<= 500){printf "用户名:%-10s UID:%-10d
",$1,$3}END{printf"------------------------------
end
"}' /etc/pass
2、awk工作原理
依次把匹配到的行使用awk工具进行编辑或者格式化打印输出，所以关于行的循环，在awk中，就可以不使用了
3、awk的用法
awk 参数... '' FILE..
1)program必须使用单引号
2）多条program语句使用大括号包含起来，可以并列，可以嵌套
awk 'print' /etc/passwd
4、awk的常见参数
-F 指定分割符 还可以指定多个 awk -F[/:]
-v 因为awk是一种语言编译器，能自己定义变量们同事也有内置变量（与环境变量类似）
而-v就是手动指定参数
awk -v a =“a/b”'{print a}' a.txt 给a赋值，打印a这个变量
1）a是自定义变量 -v FS":"
2）在awk中调用自定义变量不用加$符号
awk '{a="a/b";print a}' a.txt
5、awk的语法格式 --program
1）print
默认输出 （在屏幕上显示）
在awk中没有保存命令，我们可以关联别的命令来保存结果
2）printf--实现格式化输出
printf "%s是%d班的最好的学生"，变量1，变量2
格式符：
%s
%d %i 数值
%e %E 科学计算数
%c Acs值、
%f浮点数
%%逃逸符，只显示%自己
%u无符号整数
修饰符：
默认为右对齐
- 代表左对齐
%5.4f 5表示所占位数 4所取小数位
3）变量（内置变量、自定义变量）
内置变量--环境变量（bash）查看环境变量命令（env 、set -C +C）
awk语言所默认支持的变量
FS 定义输入分隔符的变量
OFS定义输出分隔符的变量
NF 定义分割以后的参数个数（$NF 分隔以后最后一列变量）
NR 定义文件的行数，定义多个文件的文件的行号叠加
FNR 文件只计算自己的行号
awk {print NR}' /etc/fstab /etc/passwd
awk '{print FNR}' /etc/fstab /etc/passwd
FILENAME存储文件的名字
awk '{print FILENAME}' /etc/passwd //把文件名打印N次， N文件的行数
awk 'BEGIN{print FILENAME}' /etc/passwd //BEGIN的意思是只执行一次这个打印
ARGC 整个命令的段数 【不包含program本身】
awk 'BEGIN{print ARGC} /etc/passwd /etc/fstab /etc/shadow
ARGV数组，来调取命令中，指定的段例如ARGV[2]
RS 指定换行符 可以指定心的换行符，不影响本身的换行
ORS 输出的时候指定换行符，将默认换行符替换为指定换行符
自定义变量
-v 变量=值
在后面的'program'中去调用自定义变量时4，直接使用即可
或者将“变量=值”直接写在'program'里面
6、模式匹配（地址定界）
1）空值，没有定义，默认就将文件中的所有的行，放入awk进行循环
2）对固定的1，3行进行操作
awk '1,3{print}' #注意awk默认不支持1-3 1，3等等
awk 'NR>=1&&NR<=3;{print}' /etc/passwd
3）匹配
awk '/r..ter/{print}' /etc/passwd
4）匹配模式可以直接使用判断语句
awk -F: '$NF =="/bin/bash"{print $1,$3}' /etc/passwd
5）BIGEIN|END语句
BIGEIN定义在默认循环进行操作前要执行的语句
awk -F: 'BEGIN{printf "shell程序为bash的用户为:
"}$NF=="/bin/bash"{print $1,$3}' /etc/passwd
awk -F: 'BEGIN{printf "shell程序为bash的用户为:
"}$NF= = "/bin/bash"{print $1,$3}END{printf "end
"}'
一般在格式化输出的时候，打印表头和表末；
7、操作符
运算操作符：
+ - * / % ** //
比较运算符：
== ！= > < >= <=
~！~
awk -F: '$NF~"/bin/bash" {print $1,$3}' /etc/passwd
awk -F: '$NF!~ "/bin/bash"{print $1,$3}' /etc/passwd
逻辑操作符：
&&
||
！
赋值操作符：
= += -= /= *=
条件表达式：
条件语句？条件成立语句
8、常见action
print printf 以及其他任何操作都是action
9、常见语言
1）if语句
语法格式：if(条件表达式){执行语句}
if(条件表达式){执行语句} else{执行语句}
awk '/^title/{if(NF <= 2) {print}else {print 参数过少}}’ /boot/grub/grub.conf
awk '/title/{if(NF<=2) print $4}' /boot/grub/grub.conf
2）while语句
只有对行参数进行遍历的时候才会使用循环；
语法格式：while （条件表达式）{循环体}
awk /^[[:spacel]*kernel> /{i= 1;while(i< = NF){printf $i" ";print length($i);i+ + }}' grub.conf
3）for语句
语法格式：for(初始值;条件判断初始值控制语句){循环体}
awk '/^[[:space:]*kernel> /{for(i=1; i<=NF; i++){printf $i" "; print length($)}} grub.conf
循环建议使用for语句
练习：统计一下啊某个文件中指定行中单词出现的次数；
在awk中，for也可以使用shell中一样的格式：
回顾：
for i in 列表；do
循环体
done
for（i in 列表）{循环体}
echo "xia liang z shi k hen n shuai da fa le"|awk
4）do-while循环
语法：do {循环体}while（循环条件）
注意和while的区别：while语句只有在满足条件的时候，才会进入循环，而do while会先执行一次循环体，再进行条件判断
5）循环跳出语句
break [n] 跳出本次循环；
continue 跳出本次循环；
next 跳出默认的当前循环；
awk '{if(NR%2==1){next}else {print}}' /etc/passwd
6）switch类似于case
语法格式：
switch(表达式){case 模式匹配值；执行语句；case 模式匹配值；执行语句。。。，default ；执行语句}
10、数组
在awk中，数组和shell中的数组特性相同；
注意：awk中数组不用定义，只要使用了，就有值为空的默认数组；这在做数据统计的时候非常常见
行遍历--->实际上就是整个文件的遍历
列遍历--->取对象固定某列的中的，相同数据的统计
注意：数组通过for语句，再给其他变量赋值的时候，赋值的是index索引信息
练习：统计一下某个文件中指定行中单词出现的次数；
awk -v RS=" " {print} a.txt | awk "{ls[$1]+ +}END{for(i in ls){print ls[[i]}}'
练习:统计-下一个文件中每个单词(以空格隔开的字符串)出现的次数;
awk '{for(i= 1;i< =NF;i+ +){count[$i]+ +}}END{for(i in count) {print i,count[i]}' /etc/fstab
awk '{for(i= 1;i< =NF;+ +){ls[$i]+ + }END{for (j in Is){print j ,ls[j]}"' /var/log/httpd/access log | sort -t" " -k2 -nr
11、函数
1）内置函数
函数的调用：funcation（参数）
length（）统计字符串长度
数学运算上使用的行数sin（）
sub（x，x，x）替换第一个匹配到的值
awk '{print sub(o,O,$1)}' /etc/passwd //将o替换为O文件中的第一列（匹配一个）
gsub
awk '{print gsub(o,O,$1)}' /etc/passwd将o替换为O文件中的第一列（全部匹配）
split（x,x,x）指定分隔符去切割文件
netstat -tan | awk '/^tcp> /{split($5,ip,":");prin ip[1]}'
netstat -tan | awk '/^tcp> /{split($5,ip,":");counti[ip[1]]+ +}END{for (i in count) {print i,count[i]}}'
2）自定义变量