shell awk入门

本文参考自 http://www.cnblogs.com/zhuyp1015/archive/2012/07/11/2586985.html

awk：好用的数据处理工具

 

awk 也是一个非常棒的数据处理工具！sed 常常用于一整个行的处理， awk 则比较倾向于一行当中分成数个『栏位』（或者称为一个域，也就是一列）来处理。因此，awk 相当的适合处理小型的数据数据处理呢！awk 通常运行的模式是这样的：

[root@www ~]# awk '条件类型1{动作1}  条件类型2{动作2} ...'  filename

 

awk 后面接两个单引号并加上大括号 {} 来配置想要对数据进行的处理动作。 awk 可以处理后续接的文件，也可以读取来自前个命令的 standard output 。 但如前面说的， awk 主要是处理『每一行的栏位内的数据』，而默认的『栏位的分隔符号为 "空白键" 或 "[tab]键" 』！以下面这个文本为例子，用head将数据显示出来。

文本名字:log

apple 6 30

pear 5 25

waterlemon 10 2

orange 2 100

若我想要取出水果的名字(第一列)与水果的单价(第三列)  ，且 名字 与 单价 之间以 ":" 隔开，则会变成这样：

$ head log | awk '{print $1 ":" $3}' 

apple:30

pear:25

waterlemon:2

orange:100

上表是 awk 最常使用的动作！透过 print 的功能将栏位数据列出来！栏位的分隔则以空白键(默认)或 ":" 符号(指定)来隔开。 因为不论哪一行我都要处理，因此，就不需要有 "条件类型" 的限制！

另外，由上面这个例子你也会知道，在每一行的每个栏位都是有变量名称的，那就是 $1, $2... 等变量名称。以上面的例子来说， 水果名称 是 $1 ，因为它是第一栏！至於  单价 是第三栏， 所以他就是 $3 啦！后面以此类推！还有个变量喔！那就是 $0 ，$0 代表『一整列数据』的意思～以上面的例子来说，第一行的 $0 代表的就是『apple .... 』那一行啊！ 由此可知，刚刚上面四行当中，整个 awk 的处理流程是：

 

1. 读入第一行，并将第一行的数据填入 $0, $1, $2.... 等变量当中；
2. 依据 "条件类型" 的限制，判断是否需要进行后面的 "动作"；
3. 做完所有的动作与条件类型；
4. 若还有后续的『行』的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止。

 

经过这样的步骤，你会晓得， awk 是『以行为一次处理的单位』， 而『以栏位为最小的处理单位』。好了，那么 awk 怎么知道我到底这个数据有几行？有几栏呢？这就需要 awk 的内建变量的帮忙啦。

 

变量名称	代表意义
NF	每一行 ($0) 拥有的栏位总数
NR	目前 awk 所处理的是『第几行』数据
FS	目前的分隔字节，默认是空白键

我们继续以上面head log 的例子来做说明，如果我想要：

• 列出每一行的水果名称(就是 $1)；
• 列出目前处理的行数(就是 awk 内的 NR 变量)
• 并且说明，该行有多少栏位(就是 awk 内的 NF 变量)

Tips:
　　要注意喔，awk 后续的所有动作是以单引号『 ' 』括住的，由於单引号与双引号都必须是成对的， 所以， awk 的格式内容如果想要以 print 列印时，记得非变量的文字部分，包含上一小节 printf 提到的格式中，都需要使用双引号来定义出来喔！因为单引号已经是 awk 的命令固定用法了！

则可以这样：

head log | awk '{print $1 " lines:" NR " coloums:" NF }'
apple lines:1 coloums:3
pear lines:2 coloums:3
waterlemon lines:3 coloums:3
orange lines:4 coloums:3

 # 注意喔，在 awk 内的 NR, NF 等变量要用大写，且不需要有钱字号 $ 啦！

 

这样可以了解 NR 与 NF 的差别了吧？好了，底下来谈一谈所谓的 "条件类型" 了吧！

注：$0 表示整行，$1 代表第一项

 

 

awk 的逻辑运算字节

既然有需要用到 "条件" 的类别，自然就需要一些逻辑运算，例如下面这些：

运算单元	代表意义
>	大於
<	小於
>=	大於或等於
<=	小於或等於
==	等於
!=	不等於

值得注意的是那个『 == 』的符号，因为：

• 逻辑运算上面亦即所谓的大於、小於、等於等判断式上面，习惯上是以『 == 』来表示；
• 如果是直接给予一个值，例如变量配置时，就直接使用 = 而已。

好了，我们实际来运用一下逻辑判断吧！还是以上面log文件作为例子，但是栏位之间用冒号分隔。那假设我要查阅，第三栏(数量)小於 29 以下的数据，并且仅列出水果名称与第三栏，以冒号隔开，那么可以这样做：

 

$ head log | awk '{FS=":"} $3<29 {print $1 " : " $3}'
apple:6:30 :
pear : 25
waterlemon : 2

不过，怎么第一行也显示出来呢？而且格式也不对。这是因为我们读入第一行的时候，那些变量 $1, $2... 默认还是以空白键为分隔的，所以虽然我们定义了 FS=":" 了， 但是却仅能在第二行后才开始生效。那么怎么办呢？我们可以预先配置 awk 的变量啊！ 利用 BEGIN 这个关键字喔！这样做：

$ head log | awk 'BEGIN {FS=":"} $3<29 {print $1 " : " $3}'
pear : 25
waterlemon : 2

 而除了 BEGIN 之外，我们还有 END 呢！另外，如果要用 awk 来进行『计算功能』呢？以底下的例子来看， 假设我有一个薪资数据表档名为 pay ，内容是这样的：

如何帮我计算每个人的总额呢？而且我还想要格式化输出喔！我们可以这样考虑：

• 第一行只是说明，所以第一行不要进行加总 (NR==1 时处理)；
• 第二行以后就会有加总的情况出现 (NR>=2 以后处理)

$ cat pay |
> awk 'NR==1 {printf "%10s %10s %10s %10s %10s ",$1,$2,$3,$4,"Total" }
> NR>=2 {total= $2 + $3 + $4
> printf "%10s %10d %10d %10d %10.2f ",$1,$2,$3,$4,total}'

me 1st 2nd 3th Total
VBird 23000 24000 25000 72000.00
DMTsai 21000 20000 23000 64000.00
Bird2 43000 42000 41000 126000.00

 

上面的例子有几个重要事项应该要先说明的：

• awk 的命令间隔：所有 awk 的动作，亦即在 {} 内的动作，如果有需要多个命令辅助时，可利用分号『;』间隔， 或者直接以 [Enter] 按键来隔开每个命令，例如上面的范例中。
  
• 逻辑运算当中，如果是『等於』的情况，则务必使用两个等号『==』！
• 格式化输出时，在 printf 的格式配置当中，务必加上 ，才能进行分行！
• 与 bash shell 的变量不同，在 awk 当中，变量可以直接使用，不需加上 $ 符号。

 

利用 awk 这个玩意儿，就可以帮我们处理很多日常工作了呢！真是好用的很～ 此外， awk 的输出格式当中，常常会以 printf 来辅助，所以， 最好你对 printf 也稍微熟悉一下比较好啦！另外， awk 的动作内 {} 也是支持 if (条件) 的喔！ 举例来说，上面的命令可以修订成为这样：

# cat pay | 
> awk '{if(NR==1) printf "%10s %10s %10s %10s %10s
",$1,$2,$3,$4,"Total"}
NR>=2{total = $2 + $3 + $4
printf "%10s %10d %10d %10d %10.2f
", $1, $2, $3, $4, total}'

你可以仔细的比对一下上面两个输入有啥不同～从中去了解两种语法吧！我个人是比较倾向於使用第一种语法， 因为会比较有统一性啊！

 

附：出自鸟哥的私房菜：第十二章、正规表示法与文件格式化处理