zoukankan      html  css  js  c++  java
  • linux系列之—06 三大利器grep,sed,awk

    参考资料:

    1. segmentfault
    2. 知乎
    3. csdn

    1. grep

    命令描述:grep命令用于查找文件里符合条件的字符串。

    grep全称是Global Regular Expression Print,表示全局正则表达式版本,它能使用正则表达式搜索文本,并把匹配的行打印出来。

    在Shell脚本中,grep通过返回一个状态值来表示搜索的状态:

    0:匹配成功。
    1:匹配失败。
    2:搜索的文件不存在。
    命令格式:grep [参数] [正则表达式] [文件]。

    命令常用参数说明:

    参数 说明
    -c或--count 计算符合样式的列数
    -d recurse或-r 指定要查找的是目录而非文件
    -e [范本样式] 指定字符串做为查找文件内容的样式
    -E 或 --extended-regexp 将样式为延伸的正则表达式来使用
    -F 或 --fixed-regexp 将样式视为固定字符串的列表
    -G 或 --basic-regexp 将样式视为普通的表示法来使用
    -i 或 --ignore-case 忽略字符大小写的差别
    -n 或 --line-number 在显示符合样式的那一行之前,标示出该行的列数编号
    -v 或 --revert-match 显示不包含匹配文本的所有行
    命令使用示例:

    查看sshd服务配置文件中监听端口配置所在行编号。

    grep -n Port /etc/ssh/ssh_config
    

    查询字符串在文本中出现的行数。

    grep -c localhost /etc/hosts
    

    反向查找,不显示符合条件的行。

    ps -ef | grep sshd
    ps -ef | grep -v grep | grep sshd
    
     命令输出结果:
    

    以递归的方式查找目录下含有关键字的文件。
    grep -r *.sh /etc
    命令输出结果:

    使用正则表达式匹配httpd配置文件中异常状态码响应的相关配置。
    grep 'ntp[0-9].aliyun.com' /etc/ntp.conf
    命令输出结果:

    Linux三大利器grep,sed,awk

    https://zhuanlan.zhihu.com/p/83307402

    sed

    命令描述:sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用。

    1. 处理时,把当前处理的行存储在临时缓冲区中,称为模式空间(pattern space)。
    2. 接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
    3. 接着处理下一行,这样不断重复,直到文件末尾。

    注意:

    sed命令不会修改原文件,例如删除命令只表示某些行不打印输出,而不是从原文件中删去。
    如果要改变源文件,需要使用-i选项。
    命令格式:sed [参数] [动作] [文件]。

    参数说明:

    参数 说明
    -e [script] 执行多个script
    -f [script文件] 执行指定script文件
    -n 仅显示script处理后的结果
    -i 输出到原文件,静默执行(修改原文件)
    动作说明:
    动作 说明
    a 在行后面增加内容
    c 替换行
    d 删除行
    i 在行前面插入
    p 打印相关的行
    s 替换内容
    命令使用示例:

    删除第3行到最后一行内容。
    sed '3,$d' /etc/passwd

    在最后一行新增行。
    sed '$a admin❌1000:1000:admin:/home/admin:/bin/bash' /etc/passwd

    替换内容。
    sed 's/SELINUX=disabled/SELINUX=enforcing/' /etc/selinux/config

    替换行。
    sed '1c abcdefg' /etc/passwd

    awk

    命令描述:和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。

    命令格式:awk [参数] [脚本] [文件]。

    参数说明:

    参数 说明
    -F fs 指定以fs作为输入行的分隔符,awk 命令默认分隔符为空格或制表符
    -f file 读取awk脚本
    -v val=val 在执行处理过程之前,设置一个变量var,并给其设置初始值为val
    内置变量:
    变量 用途
    FS 字段分隔符
    $n 指定分隔的第n个字段,如$1、$3分别表示第1、第三列
    $0 当前读入的整行文本内容
    NF 记录当前处理行的字段个数(列数)
    NR 记录当前已读入的行数
    FNR 当前行在源文件中的行号
    awk中还可以指定脚本命令的运行时机。默认情况下,awk会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用BEGIN关键字,BEGIN会在awsk读取数据前强制执行该关键字后指定的脚本命令。

    和BEGIN关键字相对应,END关键字允许我们指定一些脚本命令,awk会在读完数据后执行它们。

    命令使用示例:

    查看本机IP地址。
    ifconfig eth0 |awk '/inet/{print $2}'
    命令输出结果:

    查看本机剩余磁盘容量。
    df -h |awk '//$/{print $4}'
    命令输出结果:

    统计系统用户个数。
    awk -F: '$3<1000{x++} END{print x}' /etc/passwd
    命令输出结果:

    输出其中登录Shell不以nologin结尾(对第7个字段做!~反向匹配)的用户名、登录Shell信息。
    awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd
    命令输出结果:

    输出/etc/passwd文件中前三行记录的用户名和用户uid。
    head -3 /etc/passwd | awk 'BEGIN{FS=":";print "name\tuid"}{print $1,"\t"$3}END{print "sum lines "NR}'
    命令输出结果:

    查看tcp连接数。
    netstat -na | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
    命令输出结果:

    关闭指定服务的所有的进程。
    ps -ef | grep httpd | awk {'print $2'} | xargs kill -9

    cut

    命令描述:cut命令主要用来切割字符串,可以对输入的数据进行切割然后输出。

    命令格式:cut [参数] [文件]。

    参数说明:

    参数 说明
    -b 以字节为单位进行分割
    -c 以字符为单位进行分割
    -d 自定义分隔符,默认为制表符
    命令使用示例:

    按字节进行切割。

    按字符进行切割。

    按指定字符进行切割。

    tr
    命令描述:tr命令用于对来自标准输入的字符进行替换、压缩和删除。

    命令格式:tr [参数] [文本]。

    参数说明:

    参数 说明
    -c 反选指定字符
    -d 删除指定字符
    -s 将重复的字符缩减成一个字符
    -t [第一字符集] [第二字符集] 删除第一字符集较第二字符集多出的字符,使两个字符集长度相等
    命令使用示例:

    将输入字符由大写转换为小写。
    echo "HELLO WORLD" | tr 'A-Z' 'a-z'
    命令输出结果:

    删除字符。
    echo "hello 123 world 456" | tr -d '0-9'
    命令输出结果:

    压缩字符。
    echo "thissss is a text linnnnnnne." | tr -s ' sn'
    命令输出结果:

    产生随机密码。
    cat /dev/urandom | tr -dc a-zA-Z0-9 | head -c 13
    命令输出结果:

    【Quality】 Quality is the value to someone who matters。做测试,首先要找到这个someone是谁,以及这个 someone重视的 value是什么。
  • 相关阅读:
    hdu 1301 prime算法
    hdu 4763 kmp算法
    linux上安装程序出现的问题汇总
    linux之下载工具wget
    python之os模块
    管道和xargs的区别
    linux下查找文件或目录(which,whereis,locate,find)
    blast+学习之search tools
    linux的文件,目录操作命令(mv,rm,cp)
    PHPCMS V9 简单的二次开发
  • 原文地址:https://www.cnblogs.com/liuyitan/p/12285526.html
Copyright © 2011-2022 走看看