find /grep /xargs /sort /uniq /tr /cut /paste /sed /awk......待续......
1.find
名字查找： find . -name file #eg: find -name *txt 正则查找： find . -regex "pattern" #eg: find -regex ".*\.txt" -iregex：正则忽略大小写 反查找：
find . ! -name "*.txt"
按类型查找：
find . -type d
d: 目录
f：文件
按时间查找：
find . -atime 7 -type f
atime：访问时间（默认天d）
mtime：修改时间
ctime：变化时间
按大小查找：
find . -type f -size +2k #+号大于，-号小于
k,M,G
按权限查找：
find . -type f -perm 644
按用户查找：
find . -type f -user XX
搭配后续命令：
find . -type f -name ".swp" -delete #删除当前目录下所有的swp文件
find . -type f -mtime +10 -name "*.txt" -exec cp {} otherDir \
#exec执行动作，{}表查找匹配到的每一个对象，\续行符
#eg. -exec ./run.sh {} \
print:
find . -name "*.txt" -print0
#输出./2.txt./3.txt./1.txt => 加上 -print0 参数表示find输出的每条结果后面加上 '\0' 而不是换行
2.grep
grep 'pattern' file
-o：只输出匹配文本行
-v：只输出非匹配行
-c：统计包含文本次数
-n：打印匹配行号
-i：忽略大小写匹配
-r/R：递归匹配 #eg. grep -nr 'class' 当前目录所有匹配class的文件
-e：匹配多个模式 #eg. grep -e 'class' -e 'genus' file
匹配多个字符
任意字符：
egrep 'word|wore' file
grep -E 'word|wore' file
grep 'word\|wore' file
同时满足：
grep word1 file.txt | grep word2
-w：字符串精确匹配
grep -w '26' file #精确匹配26，不会匹配26a,262等，此法不能用于sed
grep '\<26\>' file #效果同上，可移植到sed中，sed 's/\<0\>/NA/g' file
（注意：0左右的.,;等符号仍会变为NA，如0.023替换为NA.023，最好加上边界符\b）
echo 0.023 |sed 's/\\b\<0\>\\b/NA/g'
ls -l |grep msms
3.xargs
传参命令（因为很多命令不支持管道来传参），xargs实现的是将管道传输过来的stdin进行处理然后传递到命令的参数位上。
echo '--help' | cat 等价于 --help echo '--help' | xargs cat 等价于 cat --help echo 'test.c test.cpp' | xargs cat 等价于 cat test.c test.cpp
xargs常与其他命令组合使用，如grep, find
eg:
find /sbin -perm +700 |ls -l 错误
find /sbin -perm +700 |xargs ls -l 正确 cat file.txt |xargs #将多行输出变为单行输出
cat single.txt |xargs -n 3 #将单行变为多行输出（每行3个字段）
xargs的作用不仅仅限于简单的stdin传递到命令的参数位，它更大的作用是可以将stdin或者文件stdin分割成批，每个批中有很多分割片段，然后将这些片段按批交给xargs后面的命令进行处理。
xargs处理的顺序：先分割，再分批，然后传递到参数位。
分割 -d：定义定界符（默认空格，多行定界符为\n）
echo '11@22@33' | xargs -d '@' echo #给echo传递了3个参数
-0：指定\0为输入定界符（一般与find连用）
find fir -type f -name "*.pl" -print0 |xargs -0 wc -l #统计程序行数
分批 -n：指定输出为多行（参数）
echo '11@22@33@44@55@66@77@88@99@00' | xargs -d '@' -n 3 echo
#分割为10个参数，每次传递3个参数（要执行4次才能传递完参数），等价于：
echo 11 22 33
echo 44 55 66
echo 77 88 99
echo 0
-E：不指定参数，注意只在不指定-d参数的时候有效
echo '11 22 33' | xargs -E '33' echo
#输出11 22
执行 -p：询问是否执行命令
echo '11@22@33' | xargs -p -d '@' echo
?...y #输入y执行
Ref: https://www.cnblogs.com/wangqiguo/p/6464234.html
4.sort
-n：按数字排序 -d：按字母排序 -r：逆序（大->小） -k：加数字，指定列排序 -b：忽略前导空白符（如空格） sort -nrk 2 data.txt sort -bd data.txt
5.uniq
消除重复行，常与sort连用 sort test.txt |uniq -c：统计各行次数 sort data.txt |uniq -c -d：打印重复行 sort data.txt |uniq -d
-u：打印非重复行
sort data.txt |uniq -u
6.tr
替换 cat file |tr '\t' ' ' 删除 -d cat file |tr -d '0-9' #删除所有数字 补集 -c cat file |tr -cd '0-9\n' #删除所有非数字
压缩 -s
cat file |tr -s ' ' #压缩空格（最常用），即多个空格只保留第一个
压缩制表符 '\t'
大小写转换：cat test.txt |tr '[:lower:]' '[:upper:]'
7.cut
--complement：取补集
cut -f3 --complement file #取除第三行外的所有列
-d：制定分隔符
cat -f2 -d";" file
分隔单位：
-f：以字段为单位
-b：以字节为单位
-c：以字符为单位
取值范围：
n-：n到结尾
-m：开始到m
n-m：n到m
eg:
cut -c-2 file #打印前2个字符
cut -c2- file #从第2个字符开始打印（包含第2个）
8.paste
-d：指定分隔符（默认为制表符） paste file1 file2 -d ","
9.sed
-g：全局替换 seg 's/text/replace_text/g' file -i：直接替换 seg -i 's/text/repalce_text/g' file -d：删除
sed 's/^$/d' file #删除空白行
替换换行符
sed ':label;N;s/\n/,/;t label' #将换行符替换为“,”
Ref：http://workingxiaolong.lofter.com/post/6b719_e32bc11
sed 's/Helicobacter.*//g;s/Sequence.*//g'
替换单词后面的全部内容（包括特殊符号），注意点号不可少
数字匹配替换
[0-9]\+ #至少1个，+要转义
[0-9]* #至少0个，*不需转义
字符串替换
[a-zA-Z]\+
[a-zA-Z]*
转义：
一般的特殊字符要转义 _ - -> +
各种括号视情况而定，表字符串本身时需要转义
打印行：
sed -n '1p;10p' file #打印第一行和第十行
sed -n '1,10p' file #打印1-10行
sed -n '1,5p;9p' test.txt #打印1-5行及第9行
删除行：
sed '/abc/d;/efg/d' file #删除含字符串"abc"或“efg"的行
sed '/^CON/d;/^REV/d' proteinGroups.txt
添加列：
sed 'N;2atest1 test2' file # 第2行后添加一行（即第3行为test1 test2）
sed 'N;2itest1 test2' file # 第1行前添加一行（即第1行为test1 test2）,i前的数值至少为2
更易理解的方法：
sed '1 i\test1 test2' test.txt #在原第一行前添加一行
sed '1 a\test1 test2' test.txt #在原第一行后添加一行
10.awk
基本概念：
record：记录（行）
field：字段（列）
基本结构：
awk ' BEGIN{ statements1 } {statements2} END{ statements3 } '
工作方式：
执行begin 1，再一行行读入重复执行2，最后执行end 3。
awk ' {print NR}' file #打印每一行行号 awk ' END {print NR}' file #打印最后一行行号
特殊字符：
常用：
$0,$1,$2
-F：设置分隔符（默认空格），-F'\t' -F: NR：当前行号 NF：当前行的字段（列） FNR：多个文件时，每处理一个新文件都从1开始计起（而NR会累加）
其他：
RS：行分隔符（默认换行符\n）
ORS：输出当前行分隔符，与RS互为逆向/替换
FS：列分隔符
OFS：输出列分隔符（常用），与FS互为逆向/替换
awk 'BEGIN{ FS="----";OFS="\t" }{ print $1,$2,$3 }' filename
ref: https://www.cnblogs.com/fhefh/archive/2011/11/16/2251656.html
对行进行过滤：
awk 'NR<=5' file #打印前5行，同head awk 'NR==1,NR==4{print}' file #打印第1和4行 awk '/linux/' file #打印匹配行 awk '!/linux/' file #打印非匹配行
awk '/start_/, /end_/' file #打印两者（第一个）之间的行