干货记录
[Linux] 使用awk比较两个文件的内容
当需要比较A , B两个文件 , A文件中存在 , 并且把也在B文件中存在的行去除掉 , 可以使用这个awk的用法来
awk '{if(ARGIND==1) {val[$0]}else{if($0 in val) delete val[$0]}}END{for(i in val) print i}' A B
使用awk的同时处理多文件功能,配合数组变量来进行处理
先扫描文件A,把文件A中的每行作为数组的key放入数组
再扫描文件B,判断B中的每行是否存在于数组中,如果存在就删除这个数组元素
最后统一打印数组中的key
文件准备
创建两个文件，分别为a.txt和b.txt，它们所含内容分别为：
| a.txt | b.txt |
|---|---|
| 1-wfhune2-chdamnsbchj3-uyr92fiubkqw5-cgvdnsb | 2-djyv4-dvcahsgdb5-wvchdfyt |
普通用法，整行对比
| 命令 | diff a.txt b.txt | grep -f a.txt b.txt | grep -vf a.txt b.txt |
|---|---|---|---|
| 解释 | 比较两个文件 | 取两个文件中都有的行 | 取b文件中有，但a文件中没有的行 |
| 结果 | 1,4c1,3< 1-wfhune< 2-chdamnsbchj< 3-uyr92fiubkqw< 5-cgvdnsb---> 2-djyv> 4-dvcahsgdb | 空 | 2-djyv4-dvcahsgdb5-wvchdfyt |
高级用法，每行关键部分对比
回顾一下两个文件中的内容，格式都是 x-yyyy这种格式，我们认为x为键，yyyy为值。现在我们只想比较x，而不关心yyyy。
该怎么办呢？
| 命令 | grep -vf <(cut -d - -f 1 a.txt) <(cat b.txt) | grep -vf <(awk -F"-" '{print $1}' a.txt) <(cat b.txt) |
|---|---|---|
| 解释 | <() 用于命令嵌套。cut -d - -f 1 a.txt，其中参数-d 用于定义分隔符，参数-f 用于定义分割后要提取第几段文本。比如这里定义分隔符为"-"，并提取分割后的第一段文本。 | 这里只是用awk命令替换了cut命令，作用相同。awk 的 -F参数用于定义分隔符，printf $X 提取分割后的第X段文本。 |
| 结果 | 4-dvcahsgdb | 4-dvcahsgdb |