【三剑客】awk命令2

1. 程序结构： Begin 和 End模块

awk的程序的结构：Begin块，Body块，End块。

• BEGIN块：BEGIN {awk-commands}
  • BEGIN块在被程序启动时启动，且只执行一次。
  • 这是一个很好的初始化变量的地方，常常被用来修改内置变量RS，FS，OFS，ORS等的值。
  • BEGIN是awk的关键字，必须大写。
  • 可选的
BODY块:  /pattern/{awk-commands(action)}
• 主体块适用于awk的每个输入行命令。
• 默认情况下，awk执行每一行命令，但可以通过pattern限制。
• body块没有关键字
• END块: END {awk-commands}
  • END块在程序结束时执行，在awk读取完所有的文件的时候，再执行的。
  • 一般用来输出一个结果（累加，数组结果）
  • END是awk关键字，必须是大写。
  • 可选的。

[root@oldboy test]# awk 'BEGIN {print "Sr No Name Sub Marks	"} {print} END{print "****END***"}' marks.txt 
Sr No Name Sub Marks
1) Amit Physics 80
2) Rahul Maths 90
3) Shyam Biology 87
4) Kedar English 85
5) Hari History 89
****END***

案例：统计文件里面的空行数量

# grep查看文件内的空行数量
[root@oldboy test]# grep -c '^$' /etc/services                                             
16

# 遇到空行print 数量（增量+1）
[root@oldboy test]# awk '/^$/{a=a+1;print a}END{print "Blank Record Count:",a}' /etc/services
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Blank Record Count: 16

# 仅输出END块，空行数量
[root@oldboy test]# awk '/^$/{a=a+1} END{print "Blank Record Count:",a}' /etc/services     
Blank Record Count: 16

问题： awkfile2.txt 里面 以：为分隔符，区域3 大于15，一共有多少个？

 awk -F ":" '$3>15{a=a+1} END{print a}' awkfile2.txt

示例：找出环境变量$PATH中，所有只有三个任意字符的命令，例如：tee，并将它们重定向到command.txt中，要求一行显示1个，并在文件尾部统计他们的个数。

find `echo $PATH|tr ":" " "` -type f -name "???"|awk '{cnt+=1;print $0} END{print "Total Count:",cnt}' >>command.txt

示例：1+2+...+100，加到100的值，用awk实现。

• awk '{if (a<100) {++a;b+=a;print a,b}}' /etc/services
• awk 'BEGIN {for (i=1;i<101;++i) {s+=i;print s}}'|tail -1
• echo |awk 'BEGIN {for (i=1;i<101;++i) {s+=i}} END{print s}' 

---

2. awk数组

• 数组的索引不必是连续的设定的值；
• 可以使用字符串或数字作为数组的索引
• 不需要事先声明数组的大小
• 数组可以在运行时扩展/收缩

数组的语法：

　　　　array_name[index] = value

其中，array_name是数组的名称，index是数组索引，value是任意值分配给数组的元素。

2.1 创建 array_name[index] = value

[root@oldboy test]# awk 'BEGIN{fruits["mango"]="yellow";fruits["orange"]="orange";print fruits["orange"] "
" fruits["mango"]}'  
orange
yellow

2.2 删除 delete array_name[index]

使用delete语句从数组中删除元素。

[root@oldboy test]# awk 'BEGIN{fruits["mango"]="yellow";fruits["orange"]="orange";delete fruits["orange"];print fruits["mango"];print fruits["orange"]}'
yellow

[root@oldboy test]# 

2.3 多维数组：用一维数组模拟多维数组

awk只支持一维数组，但是我们可以很容易地模拟使用一维阵列本身的多维阵列。 

例如下面是3×3的三维阵列：

100 200 300
400 500 600
700 800 900

另外，在上述示例array[0] [0]存储100，array[0][1]存储200等。要在位置array[0] [0]存储100，我们可以使用下面的语法：

array["0,0"] = 100

虽然我们已经给定0,0为索引，这些都不是两个索引。在现实中，它只是一个索引以字符串0,0。

下面简单的例子模拟2-D数组：

awk 'BEGIN {
array["0,0"] = 100;
array["0,1"] = 200;
array["0,2"] = 300;
array["1,0"] = 400;
array["1,1"] = 500;
array["1,2"] = 600;
# print array elements
print "array[0,0] = " array["0,0"];
print "array[0,1] = " array["0,1"];
print "array[0,2] = " array["0,2"];
print "array[1,0] = " array["1,0"];
print "array[1,1] = " array["1,1"];
print "array[1,2] = " array["1,2"];
}'

在执行上面的代码后，得到以下结果：

array[0,0] = 100
array[0,1] = 200
array[0,2] = 300
array[1,0] = 400
array[1,1] = 500
array[1,2] = 600

我们还可以在排序其元素/索引于阵列执行各种操作。

为了达到这个目的，可以使用AWK的asort以及asorti函数。我们将看到在后面的章节这些函数的使用。

2.4 无序和有序的关联数组

awk中的数组都是关联数组，数字索引也会变成字符串索引：

[root@oldboy test]# awk 'BEGIN {cities[1]="beijing"
> cities[2]="shanghai"
> cities["three"]="guangzhou"
> for (c in cities) {print cities[c]}
> print cities[1]
> print cities["1"]
> print cities["three"]
> }'
guangzhou
beijing
shanghai
beijing
beijing
guangzhou

for循环的输出，因为数组是关联数组，默认是无序的。通过for循环得到的是无序的数组。

如果需要得到有序数组，需要通过下标指定获得。

2.5 awk数组的典型应用

案例：用awk查看服务器连接状态并汇总

[root@oldboy test]# netstat -an
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address               Foreign Address             State      
tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      
tcp        0      0 0.0.0.0:22                  0.0.0.0:*                   LISTEN      
tcp        0      0 192.168.0.109:22            192.168.0.102:53242         ESTABLISHED 
tcp        0      0 :::80                       :::*                        LISTEN      
tcp        0      0 :::22                       :::*                        LISTEN      
udp        0      0 0.0.0.0:68                  0.0.0.0:*                               
Active UNIX domain sockets (servers and established)
Proto RefCnt Flags       Type       State         I-Node Path
unix  2      [ ACC ]     STREAM     LISTENING     9885   /var/lib/mysql/mysql.sock
unix  2      [ ACC ]     STREAM     LISTENING     7111   @/com/ubuntu/upstart
unix  2      [ ]         DGRAM                    7512   @/org/kernel/udev/udevd
unix  5      [ ]         DGRAM                    9369   /dev/log
unix  2      [ ]         DGRAM                    209043 
unix  2      [ ]         DGRAM                    20157  
unix  2      [ ]         DGRAM                    9921   
unix  3      [ ]         DGRAM                    7530   
unix  3      [ ]         DGRAM                    7529   
[root@oldboy test]# netstat -an|awk '/^tcp/{++s[$NF]} END{for (a in s) print a,s[a]}'
ESTABLISHED 1
LISTEN 4

++s[$NF] 即将s作为数组的名称，索引是$NF，通过++s增量加1的方式，遇到一次s["Listen"]的值加1，非常的高校实用。

等价的表示方式为：

[root@oldboy test]# netstat -an|awk '/^tcp/{state[$NF]+=1;print s state[$NF] $NF} END{for (a in state) print a,state[a]}'
1LISTEN
2LISTEN
1ESTABLISHED
3LISTEN
4LISTEN
ESTABLISHED 1
LISTEN 4

案例：统计web日志访问流量，要求输出访问次数，请求页面或图片，每个请求的总大小，总访问流量的大小汇总。

需要结合httpd服务的日志文件进行解析。

面试题：处理以下文件内容，将 域名计算计数 排序处理（去重）

http://www.etiantian.org/index.html
http://www.etiantian.org/1.html
http://post.etiantian.org/index.html
http://mp3.etiantian.org/index.html
http://www.etiantian.org/3.html
http://post.etiantian.org/2.html

答案：

[root@oldboy test]# awk -F "/" '{print $3}' html.txt |sort -rn|uniq -c
      3 www.etiantian.org
      2 post.etiantian.org
      1 mp3.etiantian.org

[root@oldboy test]# awk -F "/" '{++domain[$3];print $3,domain[$3]}' html.txt 
www.etiantian.org 1
www.etiantian.org 2
post.etiantian.org 1
mp3.etiantian.org 1
www.etiantian.org 3
post.etiantian.org 2
[root@oldboy test]# awk -F "/" '{++domain[$3]} END{for (a in domain) print a,domain[a]}' html.txt 
mp3.etiantian.org 1
post.etiantian.org 2
www.etiantian.org 3

---

3. if语句

awk提供了类似C语言的if语句。

if ( $1== "foo" ) {
　　if ( $2== "foo" ) {
　　　　print "uno"
　　} else
　　　　print "one"
} elseif ($1== "bar" )
　　print "two"
} else
　　print "three"
}
}

使用if语句还可以将代码:

! /match pattern/ {print $1}

转换成：

{ 
    if ($0 !~/match pattern/) {
        print $1
    }    
}

if语句，它只是测试条件，并执行特定操作，这取决于条件。

if语句语法：

　　if (conditon) action

　　if (condition) {action1 action2 action3 ... action-n}

if-else语句语法：

　　if (conditon) action-1 else action-2

if-else-if阶梯语法：

　　if (condition1) action-1 else if (condition2) action2 else if (condtiton3) action3

示例：检查给定的数是否为偶数。

[root@oldboy test]# awk 'BEGIN{num=10;if (num%2==0) printf "%d is even number.
",num}'
10 is even number.

[root@oldboy test]# awk 'BEGIN{num=10;if (num%2==0) printf "%d is even number.
 else",num; else printf "%d is odd number.
",num}'
10 is even number.
 root@oldboy test]# awk 'BEGIN{num=9;if (num%2==0) printf "%d is even number.
 else",num; else printf "%d is odd number.
",num}'  
9 is odd number.

# if-else-if 示例：
[root@oldboy test]#  awk 'BEGIN {
> a=30;                
> if (a==10)
>     print "a=10";
> else if (a==20)
>     print "a=20";
> else if (a==30)
>     print "a=30";
> }'
a=30

---

4. 循环结构：for循环，while循环，do-while循环

4.1 for循环

for循环语法：

for (initalisation; condition; increment/decrement) action

 示例：

[root@oldboy test]# awk 'BEGIN{for (i=1;i<=5;++i) print i}'   # 初始化动作i=1；条件i<=5；增量或减量
1
2
3
4
5

4.2 while循环

while循环语法：

while (condition)
　　action

 awk首先检查条件，如果条件为真，就执行操作，不断重复，只要循环条件满足为真。

[root@oldboy test]# awk 'BEGIN {i=1; while (i<6) {print i; ++i}}'          
1
2
3
4
5

4.3 do-while循环

do-while循环语法：

do
　　action
while (condition)

do-while循环类似于while循环，不同之处在于测试条件是否在循环结束时进行计算。

do-while循环操作语句被执行至少一次，即使在条件语句的计算结果为假。

[root@oldboy test]# awk 'BEGIN{i=1; do {print i;++i} while (i<6)}'
1
2
3
4
5

4.4 break，continue，exit语句

• break 结束循环的执行
• continue 循环内跳到循环的下一次迭代
• exit 停止脚本的执行。接受一个整数作为参数，这将是awk进程的退出状态代码。如果没有任何参数，则返回状态为0.

[root@oldboy test]# awk 'BEGIN{sum=0; for (i=0;i<20;++i) {sum +=i; if (sum>50) break; else print "Sum =",sum}} '
Sum = 0
Sum = 1
Sum = 3
Sum = 6
Sum = 10
Sum = 15
Sum = 21
Sum = 28
Sum = 36
Sum = 45

[root@oldboy test]# awk 'BEGIN{for (i=1; i<=20; ++i) {if (i%2==0) print i; else continue}}'      
2
4
6
8
10
12
14
16
18
20

[root@oldboy test]# awk 'BEGIN{sum=0; for (i=0;i<20;++i) {sum +=i; if (sum>50) exit(10); else print "Sum =",sum}}'
Sum = 0
Sum = 1
Sum = 3
Sum = 6
Sum = 10
Sum = 15
Sum = 21
Sum = 28
Sum = 36
Sum = 45

  [root@oldboy test]# echo $?  # 检查脚本的返回状态
  10