zoukankan      html  css  js  c++  java
  • awk及perl学习笔记

    注:AWK的正则表达式竟然不支持零宽断言!perl是支持零宽断言的,但是perl中的程序要达到awk的效率需要考虑的问题太多。于是笔者用两次匹配(第一次匹配后再过滤一次)的方法代替零宽断言:

     awk /$key/'{if($0~/\/\/.*$key|\/\*.*$key|$key.*\*\//) ; else printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles
    但是上句并不能奏效,因为awk语句内部是不能识别shell中定义的变量的,所以{}内不能出现$val这样引用变量的方法,而只能是val这样引用。但是用awk -v xxx=$val是可以把shell的变量引入awk的。我最终是在awk -v 处定义正则表达式的,并在正则表达式中引用shell里的变量$key。注意,在这里,正则表达式中每使用一个右斜杆,需要在此右斜杆前再加2个右斜杆以供解释器转义!

    最后可以运行的语句

    awk -v reg="\\\/\\\/.*$key|\\\/\\\*.*$key|$key.*\\\*\\\/" /$key/'{if($0 ~ reg ) ; else printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles

    这个语句我用了几天后发现还有一个小小的问题:它总是先执行``中的find命令,find完全结束后在执行AWK。这带来一个buffer的毛病,在文件量很大、层数很多的工程中,搜索时不能即时看到结果。而find和awk都是无buffer的,这种通过``组合起来的命令却造成了buffer。我尝试用|管道来写这个语句,但是当把find的输出输入awk时,awk并不能把它们解析成一个个的文件名,而是把find的每一行输出认为是一行待处理的文本来处理。

    经过半个上午+一个下午的努力,我用perl解决了这个问题,第一次接触perl语言,遇到了一些障碍,所幸在一天内攻克了,下面这个脚本在查找效率和输入便捷上都很可观:

    findme.pl源文件

    #!/usr/bin/env perl
    # program: find specific text in files with specific names
    # Made by:  Daiyyr
    # date:  2013/03/14
    use 5.10.1;
    use strict;
    use warnings;
    use POSIX qw(strftime);


    my $key;
    my $fname;

    sub find{
        my @dirs = <$_[0]/*>;
        my $count = @dirs;
        my $len = length($_[0]);
        if($count == 0){
            return 1;
        }
        my $i=0;
        while($i<$count){
            if(-d $dirs[$i]){
                    &find("$dirs[$i]", $_[1]);
                }
                else{
                    if(substr($dirs[$i],$len+1) =~ m/$_[1]/){
                        if( substr($dirs[$i],$len+1) eq "log_finding_${key}_in_${fname}"){
                        $i++;
                            next;
                        }
                    open(FILE, $dirs[$i]) || die("open file failed: $dirs[$i]\n");
                    while(my $line=<FILE>){
                        if($line =~ m/$key/ && $line !~ m/\/\/.*$key|\/\*.*$key|$key.*\*\//){
                            print("$dirs[$i] : $. : $line");
                            print LOG ("$dirs[$i] : $. : $line");
                        }
                    }
                    close(FILE) || die("close file failed: $dirs[$i]\n");#猜测若不显式地关闭,一样要自动地隐式关闭,并不能节省时间
                }
                }
                $i++;
        }#end of while
    }

    print "input your files' name(could be regex):\n";
    $fname = <STDIN>;
    chomp($fname);
    print "input your key word(could be regex):\n";
    $key = <STDIN>;
    chomp($key);
    open(LOG, ">log_finding_${key}_in_${fname}") || die("open file failed: log_finding_${key}_in_${fname}\n");

    print LOG ("search time: ".strftime("%Y-%m-%d %H:%M:%S\n", localtime(time))."key words:${key},  file name:${fname},  path:$ENV{'PWD'}\n\n");
    &find(".", $fname);
    close(LOG) || die("close file failed: log_finding_${key}_in_${fname}\n");


    壹、参考:

    维基百科AWK条目:http://zh.wikipedia.org/zh-cn/AWK

    某人AWK学习笔记:http://man.lupaworld.com/content/manage/ringkee/awk.htm#id2808925

    贰、总结

    0.   ``这个符号用于标记命令语句。比如需要在shell执行一个语句,而输出结果并不显示在屏幕,而是把输出结果传送到某个地方,作为另一个命令或表达式地一部分, 此时用``将这个命令语句标记起来,例子:

    awk /$key/'{printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles

    0.5   tee,在保留原先保准输出的途径的情况下,再将标准输出导入到其它地方。

    1。若不使用文件定义script的话,单引号是必须的,标记模式和操作。若把模式和操作放在一个单引号内,模式如果是正则表达式且表达式中含变量的话,这个正则表达式可能失效;如果只把操作放在单引号内,则模式必须紧挨着单引号,几乎只有此方法是正确的;不能用2个单引号分别标记模式和操作。举例如下:

    awk '/f/ {print "good job"}' a 此时正则表达式中没变量,正确;但是:

    awk '/$key/ {printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` 错误!正则表达式失效

    awk /f/'{print "good job"}' a 正确,都使用这种方法就好了。

    awk /f/ '{print "aa"}' a 错误

    awk '/f/' '{print "aa"}' a 错误

    2.   ORS(输出记录分隔符)只改变print的行为。而printf相当于外部函数,它的行为不受AWK变量限制,所以:

    awk -v ORS="\n\n" /f/'{printf("%d\n", NR)}' a  输出依然是一个换行符间隔

    awk -v ORS="\n\n" /f/'{print NR}' a  输出是两个换行符间隔

    awk  /f/'{ORS="\n\n"; print NR}' a  这条命令与上条作用完全相同

    3.   据上面最后一行提示,可知,变量的定义可以在script部分,也可以在选项部分

    4.    AWK允许运算符~,用来测试正则表达式是否可以与一字符串匹配,用法举例:  $0 ~ /regexp/

    叁、部分我使用过的命令:

    多文件搜索:

    awk /$key/'{printf("%s:%d: %s\n",FILENAME, FNR, $0)}' `find -type f -name "$fname"` | tee log_findinfiles

    BEGIN用法: 

    awk 'BEGIN { print "Hello, world!" }' a

    文件内部排序:

    grep -oP 'http:.*\.jpg' > a

    awk -vFS="/" '{printf("mv %s %d.jpg\n", $NF, NR);}' a|sh

    上面2条命令实际用法详见http://blog.chinaunix.net/uid-24245847-id-3192460.html

    把以\结尾的行与下一行作为一条记录。尝试没有成功。在网页测试中,[^(\\)]\n 这个是可以排除以右斜杠结尾的行的,但在AKW中无法排除

    awk '{RS="[^(\\)]\n"; ORS="END\n"; print $0}' a

  • 相关阅读:
    Taobao File System
    poj 1860 (Bellman_Ford判断正环)
    IOS研究院之打开照相机与本地相册选择图片
    mysql中timestamp,datetime,int类型的区别与优劣
    数学之路(3)-机器学习(3)-机器学习算法-贝叶斯定理(3)
    POJ 3740 DLX
    HDU4738【杭州网赛、判桥】
    umdh工具使用
    计算机组成与设计(八)—— 单周期处理器
    计算机组成与设计(七)—— 除法器
  • 原文地址:https://www.cnblogs.com/yiru/p/2805253.html
Copyright © 2011-2022 走看看