1. 命令awk简介
a. awk是一种编程语言,用于对文本和数据进行处理。
b.具有强大得文本格式话能力
c.利用命令awk,可以将一些文本整理成需要的格式。
d.命令awk是逐行进行处理的
2. grep、sed、awk的简单比较
a. grep适合单纯的查找或者匹配文本
b. sed 适合匹配到的文本进行编辑
c. awk适合文本格式化,对文本进行比较复杂的格式处理
3. awk基本语法
awk [options] 'program ' file1,file2
对于上述语法中的program来说,可以细分未pattern和action,也就是说,wak的基本语法如下:
awk [options] 'pattern {action}' file action是指动作,awk擅长文本格式化,并且将格式化以后的文本输出。所以awk最常用的动作就是print和printf,因为awk要把格式化完成后的文本输出,所以常用。
例子1: 不使用[options] 也不指定pattern,直接使用action
例子2:不使用options 和 pattern,输出df信息的 第5列信息,$5表示将当前行按照分隔符分割后的第5列,不指定分隔符时,默认使用空格作为分隔符
例子3:$0表示整行,$NF表示当前分割后的最后一行 ($0和$NF均为内置变量)
注意:$NF表示分割后最后一个字段 ; NF表示当前行被分隔符切开后,一共几个字段。
a. 取最后一个列的数据
b. df命令被分割后,分割成6列, NF=6, 取倒数第二列数据
例子4:可以添加字段,将字段与文件中的列结合起来
例子5:AWK包含2种特殊的模式:
BEGIN 和 END BEGIN 表示指定的动作 需要在处理指定的文本(print $1,$2)之前执行。
END 表示在处理完所有指定的文本后,需要指定动作。
awk 分隔符
awk默认的分隔符是空格,这样描述并不精确,因为awk的分隔符还分两种,“输入分隔符” 和 “输出分隔符”。
输入分隔符,简称FS, 默认是空白字符,awk默认以空白字符为分隔符,对每一行进行分割。
输出分隔符,简称OFS,awk将每行分割后,输出在屏幕上,以什么字符作为分隔符,awk默认的输出分隔符也是空格。
例子1:
输入分隔符:当awk逐行处理文本时,以输入的分隔符为准,将文本切成多个片段,默认用空格。若一段文字中没有空格,可以指定以特定的文字或符号作为输入分隔符。
指定使用 #作为输入分隔符。
例子2:不管是通过-F选项,还是通过FS内置变量,目的都是设置指定的输入分隔符
输出分隔符:当要对处理完的文本进行输出的时候,以什么文本或者符合作为分隔符。
当awk输出每一列的时候,会使用空格隔开每一列,其实,这个空格,就是awk的默认输出分隔符。
通过内置变量OFS设定awk的输出分隔符,使用变量时需要配合-v选项。
a. 先通过输入分隔符FS='#'进行分割
b.再通过输出分隔符OFS='++++',对#分割后的结果进行处理
扩展:
awk 变量
常用内置变量:
FS:输入字段分隔符,默认为空白字符
OFS: 输出字段分隔符,默认为空白字符
RS:输入记录分隔符(输入换行符),指定输入时的换行符
ORS:输出记录分隔符(输出换行符),输出时用指定符号代替换行符
NF: 当前行的字段格式(即当前行被分割成了几列),字段数量
NR:行号,当前处理的文本行的行号
FNR:各文件分别计数的行号
FILENAME: 当前文件名
ARGC: 命令行参数的个数
ARGV:数组,保存的是命令行所给定的各参数
内置变量NR:
NR:表示每一行的行号;NF:表示每一行中一共有几列
注意:在awk中,只要引用$0,$1,$2等内置变量时才使用$,引用其他变量时,不管是内置变量,还是自定义变量,都不用$,直接使用变量名。
其他内置变量参考:http://www.zsythink.net/archives/1374
自定义变量:
第一种方法: 通过-v 设置变量 myvar="testvar"
第二种方法: 直接在program中定义即可,注意: 变量定义与动作之间需要用 分号隔开 ;
第三种:
awk格式化
print动作,处理文本时,默认换行
printf动作,处理文本时,不会换行,默认将文本输出在一行里面
awk在printf动作使用时需要注意:
1. 使用 printf 动作输出的文本不会换行,如果需要换行,可以在对应的“格式替换符”后加入“ ”进行转义。
2.使用 printf 动作时,“指定的格式” 与 “被格式化的文本”之间,需要用 逗号隔开。
3. 使用 printf 动作时,“格式”中的“格式替换符” 必须与 “被格式化的文本” 一一对应。
例子如下:
先使用awk对文本进行切割,再使用printf动作负责格式文本
awk 模式(条件)
下列条件,都使用了关系表达式,比如 ==, <= ,> 等,当经过关系运算得出的结果为真时,则满足条件,会执行相应的动作。
给定一个文本文件file.txt,请只打印这个文件中的第10行。 (多种解法)
解法1:
解法2:
解法3:
#!/bin/bash count=`cat file.txt |wc -l` out=`cat file.txt |head -10 |tail -l` if [$count -lt 10] then echo "" else echo $out fi
awk支持以下关系运算符。
awk的模式还有其他方式:
1. 空模式,没有指定任何“模式”的情况
2. 关系运算模式
3. BEGIN/END模式
未完待续~~~
参考:http://www.zsythink.net/archives/tag/awk/page/2/