linux三剑客之awk

linux三剑客：grep、sed、awk

与sed类似，awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，它可以对每一行进行切片处理

awk处理过程: 依次对每一行进行处理，然后输出

awk命令形式:

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
 [-F|-f|-v]   大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value
'  '          引用代码块
BEGIN   初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//           匹配代码块，可以是字符串或正则表达式
{}           命令代码块，包含一条或多条命令
；          多条命令使用分号分隔
END      结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

01内部变量

$0           表示整个当前行
$1           每行第一个字段
NF          字段数量变量
NR          每行的记录号，多文件记录递增
FNR        与NR类似，不过多文件记录不递增，每个文件都从1开始
FILENAME   文件名
eg：
awk -F ':' '{print $1}' /etc/passwd
awk -F ':'  '{PRINT $0}' /etc/passwd

02模式匹配   

~            匹配，与==相比不是精确比较
!~           不匹配，不精确比较
==         等于，必须全部相等，精确比较
!=           不等于，精确比较

==         等于，必须全部相等，精确比较

!=           不等于，精确比较

&&　     逻辑与

||             逻辑或

+            匹配时表示1个或1个以上

/[0-9][0-9]+/   两个或两个以上数字

/[0-9][0-9]*/    一个或一个以上数字

eg:
awk -F ':' '$1~/^h.*/{print $0,NR}' /etc/passwd
输出以h开头的行及行号

03

-F'[:#/]'   定义三个分隔符

　　

04条件判断

awk -F ':'  '{if ($3>999) print $3}' /etc/passwd

awk  -F ':'  '$3>999{print $0}' /etc/passwd

06实战：

061统计当前文件夹下 文件/文件夹占用的大小

#方法一
du -sh .
#方法二
ls -l |awk 'BEGIN{size=0}{size+=$5}END{print "the size is " size}'

062统计UID大于100的用户数

 awk -F ':' 'BEGIN{count=1} {if($3>100) name[count++]=$1} END{for (i=0;i<count;i++) print i,name[i]}' /etc/passwd