awk-实践

实际中遇到的问题

1. 字符串截取函数 substr

   #!/usr/bin/awk
   #author:zhaoyingnan
   #filename:substr.awk
   #substr 函数
   #echo 20150627185312|awk -f substr.awk
   {
       #格式化时间格式
       #索引1开始
       print substr($0,1,4)"-"substr($0,5,2)"-"substr($0,7,2)" "substr($0,9,2)":"substr($0,11,2)":"substr($0,13,2);
       printf "%04d-%02d-%02d %02d:%02d:%02d
   ",substr($0,1,4),substr($0,5,2),substr($0,7,2),substr($0,9,2),substr($0,11,2),substr($0,13,2);
   }

2. 替换函数 sub 和 gsub

   #!/usr/bin/awk -f
   #author:zhaoyingnan
   #filename:sub.awk
   #sub 替换函数
   #2016-06-27 15:33:51 current_query => [SELECT * FROM `zhs_user_timeline_147` WHERE  1  and `id`>=294037031 limit 1000]
   BEGIN{
       FS="[ `>]";
   }
   {
       #删除`
       $0 == sub(/`/, "", $0);
       print $0;
       #sub只会替换模式匹配到的第一个匹配
       #相当于vi里面的 %s/apple/banana/
       #相当于sed 's/apple/banana/'
   }
   #!/usr/bin/awk -f
   #author:zhaoyingnan
   #filename:gsub.awk
   #gsub 替换函数
   #2016-06-27 15:33:51 current_query => [SELECT * FROM `zhs_user_timeline_147` WHERE  1  and `id`>=294037031 limit 1000]
   BEGIN{
       FS="[ `>]";
   }
   {
       #删除`
       $0 == gsub(/`/, "", $0);
       print $0;
       #sub会替换模式匹配到的所有的匹配
       #相当于vi里面的 %s/apple/banana/g
       #相当于sed 's/apple/banana/g'
   }

3. NR和FNR,首先,若是读取一个文件的话,他们是一样的,若是读取多个文件,NR是这几个文件行数的总和,但FNR则在每次读取新的文件时都会从1开始.
4. 使用awk 将文件中的时间戳转化为日期,可以使用system调用date

   echo 1444440491|awk '{system("date -d @""$0"" "+%F %T"")}'
   2015-10-10 09:28:11

   

5. 打印指定的字段到最后（使用循环）

   ps -ef |grep '/usr/local/php/bin/php excute.php' --color|awk '{ if(NF>=15){ for(i=10;i<=NF;i++){ if(NF==i){ printf "%s
   ",$i; }else{ printf "%s ",$i; } } } }'|awk '{ for(i=1;i<=NF;i++){ print $i; } }'|sort -n -t _ -k 5|wc -l

6. 打印出在指定范围内不存在的行（使用数组）

   #!/bin/awk -f
   #author:zhaoyingnan
   BEGIN{
       for(i=0;i<=499;i++)
       {
           num[i]=i;
       }
   }
   {
       exists[$0]=$0;
   }
   END{
       for(j in num)
       {
           if(num[j] in exists)
           {
           }
           else
           {
               print "db_community=>zhs_user_timeline_"num[j]" is end";
           }
       }
   }

7. 指定多个分隔符时,最好不要偷懒,需要写成 -F "[.......]"

   #!/bin/bash
   #批量修改文件
   #oldsix-11.html  -> linux-11.HTML
   for file in `ls`
   do
       mv $file `echo $file|awk -F "[-.]" '{printf "%s%s%s","linux-",$2,"."toupper($3)}'`
   done

---

下面不用看

#!/usr/bin/awk -f
# 在系统提示下输入脚本
# 本文为awk笔记
#
# ********************************************************************************************************************************************
# awk    命令格式
#        awk [options] 'pattern{action}' [var1=value1 var2=value2] files
#        模式部分和操作部分都是可选的.如果没有指定模式,则操作会应用到全部的记录[zyn1];如果没有指定操作部分,则会输出匹配的全部记录.[zyn2]
#        模式部分和操作部分都是可以出现多次.
#
# ********************************************************************************************************************************************
#
# options    选项部分
#        -f    从脚本中读取awk命令
#        -F    指定多个字段分割符[zyn3]
#        -v    赋值一个用户定义变量[zyn4]
#
# ********************************************************************************************************************************************
#
# pattern    模式部分
#        由某种表达式组成的语句,模式不能被括在{}内:
#        BEGIN{}    指定在第一条输入记录被处理之前发生的动作;
#        END{}    指定在最后一条输入记录之后发生的动作;
#        判别条件真伪的表达式:~表示匹配,!~表示不匹配;字符串或数字比较;关系运算;[zyn5]
#        /模式1/,/模式2/    指定一个行的范围.[zyn6]
#
# ********************************************************************************************************************************************
#
# action    操作部分
#        由{}括起的一条或多条语句组成,语句间用;或者换行符分割,默认操作是打印所有表达式结果为真的文本行:
#            格式化输出;
#            变量或数组操作;
#            内置函数;
#            控制流命令
#
# ********************************************************************************************************************************************
#
# 脚本文件格式
#        如果同一行上有多个语句或操作,必须用;隔开;如果每条语句都在不同的行上,可以不用加;
#        如果操作跟在某个模式后面,它的{就必须与该模式在同一行[zyn2],[zyn5],[zyn6],[zyn7]
#        注释要一#开头
#
# ********************************************************************************************************************************************
#
# 正则表达式元字符
# ^在串首匹配        $在串尾匹配            .匹配任意单个字符        *匹配零个或多个前一个字符
# +匹配一个或多个前一个字符        ?匹配零个或一个前一个字符        []匹配指定字符串组
# [^]匹配任意一个不在指定字符串组        |匹配两者之一        ()+匹配一个或多个组合
# &用在代替字符串中,代表查找串中匹配到的内容[zyn9]
#
# ********************************************************************************************************************************************
#
# 正则表达式POSIX字符类
# [:alnum:]文字数字字符        [:alpha:]文字字符        [:digit:]数字字符        [:graph:]非空字符(包括空格)
# [:punct:]标点符号        [:lower:]小写字符        [:upper:]大写字符        [:cntrl:]控制字符
# [:space:]所有空白字符(空格,新行,制表符)        [:xdigit:]十六进制数字    [:blank:]空格和制表符
#
# ********************************************************************************************************************************************
#
# 关系运算符:<,<=,>,>=,==,!=
#            ~,!~在正则中的匹配,不匹配
# 条件表达式:?:三元运算符,if else
# 逻辑运算符:||,&&,!
# 算数运算符:+,-,*,/,%,^(求冥),&(求余),++(一元加),--(一元减),赋值=,+=,-=,*=,/=,%=,^=,**=
# 范围:/../,/../
#
# ********************************************************************************************************************************************
#
# 影响流程控制的语句
#    除了if,while,for,do之外,还有break,continue,next
#        在一个循环中的两个影响流程控制的break以及continue:break是退出循环,continue是终止当前的循环,并开始下一次的循环;
#        next:可以连续从文件读取内容,忽略脚本的其他操作直到文件被读完[zyn10],[zyn11]
#        exit:exit使主输入循环退出控制,执行END{}中的操作,如果没有END{},或者换行符分割是在END{}中应用了exit,则终止脚本执行.
#
# ********************************************************************************************************************************************
# getline函数,注意它不用加上()
#        getline函数用于从输入中读取下一行,它不仅能读取正常的数据流,而且能处理来自文件和管道的输入[zyn12][zyn13]
#        getline函数可能的返回值为:1 如果能够读取一行.0 如果到了文件末尾.-1 如果遇到错误
#        getline函数读取新的行之后,会将其赋值给$0,并且将其分解成字段,同时设置了系统变量NF和NR以及FNR,如若不想改变$0,可将其赋值给别的变量,但是系统变量还是会被设置的
# close()函数用于关闭打开的文件和管道
#        在不同的系统中,能打开的管道的数量是不同的,但是是都有一定数量的限制的;
#        关闭一个管道使得你可以运行同一个命令两次;[zyn13]
#        关闭一个输出管道是必要的[zyn14]
# ********************************************************************************************************************************************
#
#
# [zyn1]
# awk -f awk.awk lianxi.txt
#BEGIN{printf "%s
","没有模式部分";}
#{
#    print $0;
#}
#END{}
#
#
# [zyn2]
#BEGIN{printf "%s
","没有操作部分";}
#$0~/^$/{
#    print $0;
#}
#END{}
#
#
# [zyn3]
# echo '1,2,3,4,5,6'|awk -f awk.awk
#BEGIN{FS=",";OFS="-";}
#{
#    print $1,$2,$3,$4,$5;
#}
#END{}
#
#
# [zyn4]
# -v    awk -vname=$USER -f awk.awk rizhi.txt 使用的是系统变量 
#        awk -vname="haha" -f awk.awk rizhi.txt 自定义变量
#        awk -vname="haha" -vhome="gg" -f a.awk rizhi.txt    多个变量
# awk -vname="zhaoyingnan" -vhome="hebei" -f awk.awk lianxi.txt
#BEGIN{OFS="-";}
#{}
#END{printf "name:%s,home:%s",name,home;}
#
#
# [zyn5]
# 在每个非空的行的结尾追加字符,且保留源文件的空行
# awk -f awk.awk lianxi_5.txt
#BEGIN{}
#$0~/^$/{
#    print $0;
#}
#$0!~/^$/{
#    print $0"<br/>";
#}
#END{}
#
#
# [zyn6]
#BEGIN{PS=""";OFS="T";}
#/<h4>/,/</h4>/{
#        print $0;
#        print $2;
#}
#END{}
#
#
# [zyn7]
# awk -f awk.awk lianxi6.txt
#BEGIN{FS="	"}
#/^[A]/{
#    print $0;
#}
#$2~/^[rR]/{
#    print $0;
#    }
#$2~/^[^rR][^2].*/{
#    print $0;
#    }
#END{}
#
#
# [zyn8] fail
# POSIX字符类 需要开启posix支持
# awk --posix -f awk.awk lianxi6.txt
#BEGIN{}
#$2~/^[rRaAbB][[:digit:]].*/{
#    print $0;
#    }
#END{}
#
#
# [zyn9] fail
# &使用
#BEGIN{}
#/^[rR][sS]/{
#    print $0;
#}
#END{}
#
#
# [zyn10]
# 将国家名称顺序修改
# awk -f awk.awk country.txt
#BEGIN{
#    printf "%s		%s		%s		
","英文全称","英文缩写","中文全称";
#}
#{
#    if(NR%3!=0)
#        printf "%s		",$0;
#    else
#        printf "%s
",$0;
#}
#END{}
#
#
# [zyn10]
# 世界各中英文对照表
# awk -f awk.awk country_format.txt country_yingwen.txt
#BEGIN{FS=",";OFS="	";}
#FILENAME=="country_format.txt"{
#    split($0,entry,",");
#    country[entry[1]]=entry[3];
#    next
##    print entry[1],entry[2],entry[3];
#}
#/[A-Z][a-z]+/{
#    for(i=1;i<=NF;i++)
#    {
#        if($i in country)
#        {
#            $i=country[$i]"("$i")";
#        }
#    }
#    print $1,$2,$3;
#}
#END{}
#
#
# [zyn11]
# 星期月份对照表
# awk -f awk.awk week_and_month_mix.txt week_and_month_desc.txt 
#BEGIN{FS=",";}
#FILENAME=="week_and_month_mix.txt"{
##week_and_month_mix/txt文件的每一行都会执行action的操作
#    split($0,swap,",");
#    week[swap[2]]=swap[3]" "swap[1];
#    next
#}
#/[A-Z][a-z]+[.]?/{
##只有从不同文件输入内容的时候才会执行
#    for(i=1;i<=NF;i++)
#    {
#        if($i in week)
#        {
#            $i=$i"("week[$i]")";
#        }
#    }
#    print $0;
#}
#END{}
#
#
# [zyn12]
# 测试getline执行流程
# 
#BEGIN{}
#/^(AB).*/{
#    print $0;
#    while(getline>0)
#    {
#        if($0~/^(KL).*/)
#        {
#            a=$0;
#            print a;
#        }
#        else
#            break    
#    }
#}
#END{}
#
#
# [zyn13]
# getline 从管道读入输入
#BEGIN{}
#{
#    "whoami"|getline me;
#    close("whoami");#这里必须将这个管道关掉,否则下面的不能用哟
#    "whoami"|getline my;
#    "pwd"|getline path;
#    print $0,me,my,path;
#}
#END{}
#
#
# [zyn14]
# close()关闭一个输出管道
#BEGIN{filename="sort7.txt"}
#{
#    print $0|"sort > sort7.txt"
#}
#filename=="sort7.txt"{
#    while((getline < filename)>0)
#    {
#        print $0;
#    }
#}
#END{}
#
#
# ********************************************************************************************************************************************
# awk中的函数
# gsub(pattern,replace,subject)
# 在字符串subject用replace替换和正则表达式pattern相匹配的所有字符串,返回被替换的个数,若没有提供subject则默认为$0
# sub(pattern,replace,subject)
# 和gsub相同,不同的是,gsub是所有位置的替换,sub只替换第一个位置哟
# awk -f awk.awk 10_zhaoyingnan.log
#BEGIN{FS=""";}
#{
#    sub(///,"_",$16);
#    gsub(///,"_",$16);
#    gsub(/.[jJ][pP][Gg]/,".jpg",$16);
#    print $16
#}
#END{}
#
#
# index(subject,search)
# 返回子串search在subject中的位置,若没有则返回0
# substr(subject,starposion,length)
# 返回subject中从startposion开启,最大长度为length的子串,若没给出length,则返回从startposion开始到结束的子串
# awk -f awk.awk 10_zhaoyingnan.log
#BEGIN{FS="""}
#{
#    print $16,index($16,"pai");
#    print $16,index($16,"suipai");
#    print $16,substr($16,index($16,"c180"));
#}
#END{}
#
#
# tolower(subject)将字符串subject中所有的大写字符转换为小写,返回新的字符串
# toupper(subject)将字符串subject中所有的小写字符转换为大写,返回新的字符串
# awk -f awk.awk 10_zhaoyingnan.log
#BEGIN{FS="""}
#{
#    print $16,tolower($16),toupper($16);
#}
#END{}
#
#
# length(subject) 返回subject的长度,若没有指定subject,则返回$0的长度
#
#BEGIN{FS="""}
#{
#    print length,length($16),"中文长度"length("中文");
#}
#
#
# match(subject,pattern)
# 如果正则表达式pattern在subject中出现,则返回出现的启始位置,并设置RSTART为该位置,设置RLENGTH为匹配字符串的字符数,否则返回0,并设置RSTART为0,RLENGTH为-1;
# echo "APPLE,PALNE"|awk -f awk.awk
#BEGIN{FS=","}
#{
#    for(i=1;i<=NF;i++)
#        print $i,match($i,/[A-Z]+/),RSTART,RLENGTH;
#}
#END{}
#
#
# split(subject,array,decollator)
# 使用分隔符decollator将subject分解到array数组中,返回元素的个数,如没有给出decollator则使用FS
#BEGIN{FS=","}
#{
#    split($0,array)
#    for(i in array)
#        print array[i]
#}
#END{}

测试用到的文件
sed -n '/^#s*awk.*.[tl]/p' awk.awk |uniq
# awk -f awk.awk lianxi.txt
#        awk -vname="haha" -f awk.awk rizhi.txt 自定义变量
#        awk -vname="haha" -vhome="gg" -f a.awk rizhi.txt    多个变量
# awk -vname="zhaoyingnan" -vhome="hebei" -f awk.awk lianxi.txt
# awk -f awk.awk lianxi_5.txt
# awk -f awk.awk lianxi6.txt
# awk --posix -f awk.awk lianxi6.txt
# awk -f awk.awk country.txt
# awk -f awk.awk country_format.txt country_yingwen.txt
# awk -f awk.awk week_and_month_mix.txt week_and_month_desc.txt 
# awk -f awk.awk 10_zhaoyingnan.log