zoukankan      html  css  js  c++  java
  • Linux基础-正则表达式整理---------------grep、sed、awk

    目录:

       Ⅰ:正则表达式

       Ⅱ:作业

    Ⅰ:正则表达式

    正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法。或者说:正则就是用来描述一类事物的规则。

    在linux中,通配符是由shell解释的,而正则表达式则是由命令解释的,三种文本处理工具/命令:grep、sed、awk

    正则介绍:^ 以什么开头(同一行)
             $
    以什么结尾(同一行)

             . 除了换行符以外的任意单个字符

             * 紧挨的左边的第一个字符出现零个到无穷个

             + 紧挨的左边的第一个字符出现1个到无穷个

             ? 紧挨的左边的第一个字符出现0次到1次

            .* 所有字符

            {n}左边的左边的那一个字符出现n次的

            {2,4}左边的那一个字符出现2到4个的(表示范围的),例如:2 3 4  

            {2,}左边的那一个字符出现2到无穷个的(表示范围的),例如:2 3 4 5..........到无穷    

            [] 字符组内的任一字符

            [^] 对字符组内的每个字符取反(不匹配字符组内的每个字符)

           ^[^] 非字符组内的字符开头的行

           [a-z] a到z的所有小写字母   例如:a  b  c.....z

           [A-Z] A到Z的所有大写字母  例如:A  B  C .....  Z

           [a-Z] a到Z的所有小写和大写字母  例如:a A  b  B   ........z  Z

           [0-9] 数字0到9    例如:0 1 2 ....9

           < 单词头 单词一般以空格或特殊字符做分隔,连续的字符串被当做单词

           > 单词尾

    grep种类:grep      fgrep      pgrep     egrep  

                          -n  :显示行号

                          -o  :只显示匹配的内容

                          -q  :静默模式,没有任何输出,得用$?来判断执行成功没有,即有没有过滤到想要的内容

                          -l  :如果匹配成功,则只将文件名打印出来,失败则不打印,通常-rl一起用,grep -rl 'root' /etc 

                          -A  :如果匹配成功,则将匹配行及其后n行一起打印出来

                          -B  :如果匹配成功,则将匹配行及其前n行一起打印出来

                          -C  :如果匹配成功,则将匹配行及其前后n行一起打印出来

                          --color

                          -c  :如果匹配成功,则将匹配到的行数打印出来

                          -E  :等于egrep,扩展

                          -i  :忽略大小写 

                          -v  :取反,不匹配

                          -w:匹配单词

                          -rl :递归寻找并显示文件名

    sed:流编辑器 stream editer,是以行为单位的处理程序
           
      a 后插

                 c 替换

                 i 前插

                d 删除

                p 打印匹配的行 一般和 -n 参数连用,以屏蔽默认输出

                r 从文件中读入

                w 写入到文件中作业二:grep作业(正则表达式及字符处理)

                ! 命令取反 

               {} 命令组合 命令用分号分隔 {1h;G} 可以理解为 -e 参数的另一种写法

                = 打印行号(输入行的号码,而非处理的次数行号) 

                n 读入下一行到模式空间 

                N 而是追加下一行到模式空间,再把当前行和下一行同时应用后面的命令

                s 字符串替换

    awk

          -F 可以定义指定分隔符:(冒号)

          -v 定义变量并赋值 也可以借用次方式从shell变量中引入

          NF表示当前以分隔符(:)为分隔单位的行有几段内容

          NR 表示行号

          FNR表示读入行所在文件中的行数

            -v 定义变量并赋值


                  == 判断;>=大于等于;<=小于等于;!=  非;>大于;<小于; ~ 使用正则定位 ; !~正则取反

             &&且

             ||或

          |sort  |uniq        配续去重(排列顺序再去除重读的)

          du -sh     统计文件大小    

           find / -size +30M 找出大于30M的文件
           find / -size +10M -size -30M 找出大于10M小于30M的文件

    Ⅱ:作业

    作业一:grep作业(正则表达式及字符处理)

    目标文件/etc/passwd,使用grep命令或egrep
    1.显示出所有含有root的行:

    grep 'root' /etc/passwd 

    2.输出任何包含bash的所有行,还要输出紧接着这行的上下各两行的内容:

    grep `bash` -C 2 /etc/passwd 


    3. 显示出有多少行含有nologin。

    grep -c 'nologin' /etc/passwd


    4.显示出那些行含有root,并将行号一块输出。

    grep -n 'nologin' /etc/passwd


    5.显示出文件中

    grep -l 'root' /etc/passwd


    6.新建用户
    abominable
    abominate
    anomie
    atomize
    编写正则表达式,将他们匹配出来

    egrep 'a.omi(nabl|nat|z|)e' /etc/passwd


    7.建四个用户
    Alex213sb
    Wpq2222b
    yH438PIG
    egon666
    egon

    过滤出用户名组成是字母+数字+字母的行

    egrep '^[a-Z]+[0-9]+[a-Z]+' /etc/passwd


    8.显示出/etc目录下所有包含root的文件名

    grep -w 'root' /etc


    9. 过滤掉/etc/ssh/sshd_config内所有注释和所有空行

    grep -v '^#' /etc/ssh/sshd_config |grep -v '^ *$'


    作业二:Sed作业:以/etc/passwd文件为模板

    1,删除文件每行的第一个字符。

     sed -r 's/^(.)(.*)/2/' /etc/passwd

    2,删除文件每行的第二个字符。

     sed -r 's/^(.)(.)(.*)/13/' /etc/passwd

    3,删除文件每行的最后一个字符。

     sed -r 's/(.*)(.)$/1/' /etc/passwd

    4,删除文件每行的倒数第二个字符。

     sed -r 's/(.*)(.)(.)$/13/' /etc/passwd

    5,删除文件每行的第二个单词。

     sed -r 's/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/124/' /etc/passwd

    6,删除文件每行的倒数第二个单词。

     sed -r 's/([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)$/134/' /etc/passwd

    7,删除文件每行的最后一个单词。

     sed -r 's/([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)$/123/' /etc/passwd

    8,交换每行的第一个字符和第二个字符。

     sed -r 's/^(.)(.*)(.)$/321/' /etc/passwd

    9,交换每行的第一个字符和第二个单词。

     sed -r 's/^(.)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/42315/' /etc/passwd

    10,交换每行的第一个单词和最后一个单词。

      sed -r 's/^([a-Z]+)([^a-Z]+)(.*)([^a-Z]+)([a-Z]+)$/52341/' /etc/passwd

    11,删除一个文件中所有的数字。

      sed -r 's/[0-9]//g' /etc/passwd

    12,删除每行开头的所有空格。

      sed -r 's/^ *//g' /etc/passwd

    13,用制表符替换文件中出现的所有空格。

      sed -r 's/ /	/g' /etc/passwd

    14,把所有大写字母用括号()括起来。

      sed -r 's/[A-Z]/(&)/g' /etc/passwd

    15,打印每行3次。

      sed 'p;p' /etc/passwd

    16,只显示每行的第一个单词。

      sed -r 's/^([a-Z]+)([^a-Z]+)(.*)/1/' /etc/passwd

    17,打印每行的第一个单词和第三个单词。

      sed -r 's/^([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)([a-Z]+)([^a-Z]+)/523416/' /etc/passwd

    18,用命令获取格式为 mm/yy/dd 的日期格式,结合管道,将其换成 mm;yy;dd格式

          date | sed -r ' s/ /; /g'

    作业三:awk文本处理

    1)打印uid在0~40范围内的用户名

    awk -F: '$3>0 && $3<40{print $1,$3}' passwd

    2)打印第5-10行的行号和用户名

    awk -F: 'NR>=5 && NR<=10{print NR $1}' passwd

    3)打印奇数行

    awk '(NR%2){print $0}' passwd 

    4)打印偶数行

    awk '!(NR%2){print $0}' passwd 

    5)打印字段数大于5的行

    awk -F: '(NF>3){print $0}' passwd

    6)打印UID不等于GID的用户名

    awk -F: '($3 != $4){print $0}' passwd 

    7)打印没有指定shell的用户

    awk -F: '($NF != "/bin/bash"){print $0}' passwd

  • 相关阅读:
    APP与智能手表是如何通信的【本文摘抄自深圳尚锐科技】
    flash添加超链接的办法
    NPOI使用手册
    如何在 SQL Server 实例之间传输登录和密码
    CentOS 7 上部署Mono 4 和Jexus 5.6
    django models 中choices之用法举例
    django中的objects.get和objects.filter方法的区别
    Django中的Model.objects.create() 和 Model() 的区别?
    python爬虫练手项目快递单号查询
    根据现有的数据库自动生成Django model
  • 原文地址:https://www.cnblogs.com/wangyongsong/p/6600006.html
Copyright © 2011-2022 走看看