目前虽然有很多工具可以代替awk，但是呢我还是认为awk还是非常重要，比如有时候load数据到hive，mysql发现数据有点问题，这样可以先对比文件和库中数据是否一致，这样awk就发挥用处了，还有从文本中统计一些简单的数据，awk可是信手拈来。在这也简单的介绍下awk的用法。
awk命令格式与选项
awk [options] 'script' var=value file(s) awk [options] -f scriptfile var=value file(s)
常用命令选项：
-F fs 指定分隔符，可以是字符串和正则表达式
-v var=value 赋值一个用户定义变量，将外部变量传递给
awk -f scripfile 从脚本文件中读取awk命令
-m[fr] val 对val值设置内在限制，-mf选项限制分配给val的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
awk基本结构
awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file
这块主要是要理解执行原理，这块理解透彻了，对一个编程的人来说，就变得简单多了。
第一步：执行BEGIN{ commands }语句块中的语句；
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{ commands }语句块。
BEGIN语句是在awk在读取文本之前被执行，是可选模块，一般是用来写变量初始化，打印表头等语句
END语句是在awk读取文本之后被执行，也是可选模块，一般用来做所有行的汇总，如sum之类的。
pattern 读取的文本的每一行，如果没有此模块，会默认打印读取的每一行。
如下：
echo "hello word"|awk 'BEGIN{print"beging--"}{print}END{print "end--"}'
beging--
hello word
end--
当不带参数的print，它会打印当前行，和print $0一样，print 打印后面用逗号，打印出结果已空格分离，awk中双引号是当做连接使用。
echo|awk '{var="a";var1="b";print var,var1;}'
a b
awk 内置变量
说明：[A][N][P][G]表示第一个支持变量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk
区分可以看这篇
http://www.cnblogs.com/wujin/p/6073100.html
$n 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
$0 这个变量包含执行过程中当前行的文本内容。
[N] ARGC 命令行参数的数目。
[G] ARGIND 命令行中当前文件的位置（从0开始算）。
[N] ARGV 包含命令行参数的数组。
[G] CONVFMT 数字转换格式（默认值为%.6g）。
[P] ENVIRON 环境变量关联数组。
[N] ERRNO 最后一个系统错误的描述。
[G] FIELDWIDTHS 字段宽度列表（用空格键分隔）。
[A] FILENAME 当前输入文件的名。
[P] FNR 同NR，但相对于当前文件。
[A] FS 字段分隔符（默认是任何空格）。
[G] IGNORECASE 如果为真，则进行忽略大小写的匹配。
[A] NF 表示字段数，在执行过程中对应于当前的字段数。
[A] NR 表示记录数，在执行过程中对应于当前的行号。
[A] OFMT 数字的输出格式（默认值是%.6g）。
[A] OFS 输出字段分隔符（默认值是一个空格）。
[A] ORS 输出记录分隔符（默认值是一个换行符）。
[A] RS 记录分隔符（默认是一个换行符）。
[N] RSTART 由match函数所匹配的字符串的第一个位置。
[N] RLENGTH 由match函数所匹配的字符串的长度。
[N] SUBSEP 数组下标分隔符（默认值是34）。
举例说明几种常用的
echo -e "test 1 2
test1 2 3 4"|awk '{print "记录数:"NR,"字段数:"NF,"$0="$0}'
记录数:1 字段数:3 $0=test 1 2
记录数:2 字段数:4 $0=test1 2 3 4
统计文中的行数：
cho -e "test 1 2
test1 2 3 4"|awk 'END{print NR}'
2
使用NF可以打印出一行的最后一个
echo -e "test 1 2
test1 2 3 4"|awk '{print $NF}'
2
4
echo -e "test 1 2
test1 2 3 4"|awk '{print $NF-1}'
1
3
有时候经常会被问到求和的算法
原始数据
a 10 a 12 b 13 b 12 a 14 a 15 a 13 b 11 a 16 b 17 a 14
单独列求和和分组求和
awk '{sum+=$2}END{print sum}' aa.txt
147
awk '{s[$1]+=$2} END {for(i in s){print i,s[i]}}' aa.txt
a 94
b 53
awk接收外部变量
echo|awk -v v1="a" '{print v1}'
a