我们可以利用管道将一个命令的stdout(标准输出)重定向到另一个命令的stdin(标准输入)。有些命令只能以命令行参数的形式接受数据,而无法通过stdin接受数据流。这时候就没法使用管道。那么xargs擅长将标准输入数据转换成命令行参数。xargs能够处理stdin并将其转换为特定命令的命令行参数。它也可以将单行或多行文本输入转换成其他格式。
1、xargs命令应该紧跟在管道操作符之后,以标准输入作为主要的源数据流。如command | xargs
2、xargs命令把从stdin接受到 的数据重新格式化,再将其作为参数提供给其他命令。xargs其作用类似于find命令中的exec。
a、将多行输入转换成单行输出。只需要将换行符移除,再用“ ”(空格)进行代替,就可以实现多行输入的转换。' '被解释成一个换行符,它其实就是多行文本之间的定界符。
eg:$cat example.txt
1 2 3 4 5 6
7 8 9 10
11 12
$ cat example.txt | xargs
1 2 3 4 5 6 7 8 9 10 11 12
b、将单行输入转换成多行输出。
指定每行最大的参数数量n,可以将任何来自stdin的文本划分成多行,每行n个参数。每个参数都是由“ ”(空格)隔开的字符串。空格是默认的定界符。
eg:$cat example.txt | xargs -n 3
1 2 3
4 5 6
7 8 9
10 11 12
3、工作原理
a、可以用自己的定界符来分隔参数。用-d选项为输入指定一个定制的定界符。
eg:$echo "splitXsplitXsplitXsplit" | xargs - d X
split split split split
b、结合-n选项,可以将输入划分成多行,而每行包含两个参数:
eg:$echo "splitXsplitXsplitXsplit" | xargs - d X -n 2
split split
split split
4、补充内容
1)、读取stdin,将格式化参数传递给命令
先编写一个小型的定制版echo来更好地理解用xargs提供命令行参数的方法:
#!/bin/bash
#文件名:cecho.sh
echo $* '#'
当参数传递给文件cecho.sh后,它会将这些参数打印出来,并以#字符作为结尾。如
$ ./cecho.sh arg1 arg2
arg1 arg2 #
a、有一个名为args.txt的参数列表文件,如下
$ cat args.txt
arg1
arg2
arg3
可以将这个命令执行多次,每次使用一个参数:
$ cat args.txt | xargs -n 1 ./cecho.sh
arg1 #
arg2 #
arg3 #
每次执行需要X个参数的命令时,使用:
INPUT | xargs -n X
如:
$ cat args.txt | xargs -n 2 ./cecho.sh
arg1 arg2 #
arg3 #
为了在执行命令时一次性提供所有的参数,可以使用:
$cat args.txt | xargs ./ cecho.sh
arg1 arg2 arg3 #
上面例子中,直接为特定的命令(cecho.sh)提供命令行参数。这些参数都源于args.txt文件。但实际上除了以上之外,还需要一些固定不变的命令参数。如
./cecho.sh -p arg1 -1
其中arg1是唯一的可变内容,其余部分都保持不变。我们可以从文件(args.txt)中读取参数,并按照下面的方式提供给命令:
./cecho.sh -p arg1 -1
./cecho.sh -p arg2 -1
./cecho.sh -p arg3 -1
xargs有一个-I选项,可以提供上面这种形式的命令执行序列。可以使用-I指定替换字符串,这个字符串在xarg扩展时会被替换掉。如果将-I与xargs结合使用,对于每一个参数,命令都会被执行一次。如
$cat args.txt | xargs -I {} ./cecho.sh -p {} -1
-p arg1 -1 #
-p arg2 -1 #
-p arg3 -1 #
-I {}指定了字符串。对于每一个命令参数,字符串{}都会被从stdin读取到的参数替换掉。
注意:使用-I的时候,命令以循环的方式执行。如果有3个参数,那么命令就会连同{}一起被执行3次。
2)结合find使用xargs
危险使用:
$find . -type f -name "*.txt" -print | xargs rm -f
这样做很危险,有可能删除不必要的文件。我们没法预测分隔find命令输出结果的定界符究竟是什么(' '或者' ').有些文件名中包含空格符,因此xargs很可能会误认为是定界符(hell text.txt会被xargs误解为hell和text.txt)。
只要我们把find的输出作为xargs的输出作为xargs的输入,就必须将-print0与find结合使用,以字符null(‘ ’)来分隔输出。
用find匹配并列出所有的.txt文件,然后用xargs将这些文件删除:
$find . -type f -name "*.txt" -print0 |xargs -0 rm -f
这样就可以删除所有的.txt文件。xargs -0 将 作为输入定界符。
3)统计源代码目录中所有c程序文件的行数
统计所有c程序文件的行数(Lines of Code,LOC)。
$find source_code_dir_path -type f -name "*.c" -print0 | xargs -0 wc -1
注意:有关个人源代码更多的统计信息,有个叫做SLOCCount的工具。
d)结合stdin,巧妙运用while语句和子shell
xargs只能以有限的几种方式来提供参数,而且它也不能为多组命令提供参数。要执行包含来自标准输入的多个参数的命令,使用如下:包含while循环的子shell可以用来读取参数,然后通过一种巧妙的方式执行命令:
$cat files.txt | (while read arg; do cat $arg;done)
#等同于cat files.txt | xargs -I {} cat {}
在while循环中,可以将cat $arg替换成任意数量的命令,这样我们就可以对同一个参数执行多条命令。也可以不借助管道,将输出传递给其他命令。这个技巧能够适用于各种问题场景。子shell操作符内部的多个命令可以作为一个整体来运行。
$cmd0 | (cmd1;cmd2;cmd3) |cmd4
如果cmd1时cd /,那么就会改变子shell工作目录,然而这种改变仅局限于子shell内部。cmd4则完全不知道工作目录发生了变化。
转
父Shell与子Shell
Login Shell
登录主机后,在执行Bash Script之前,其实我们已经处于一个BashShell中。
这个Shell叫login Shell,是将来我们执行任何Script的上层环境。又叫父SHell
其实每个帐号都可以自定义loginShell。以Linux来说,帐号的login Shell定义在/etc/passwd这个文件中。
/etc/passwd的每一行代表一个帐号,共有7个字段,之间用:隔开。
帐号:x:UID 使用者代码:GID 群组代码:用户信息:主目录:login shell路径
第二栏x为密码栏,基于系统安全考虑,编码后的密码已经被放入/etc/passwd文件中。
login Shell定义在第7个字段,如果这个字段的Shell程序不存在、不合法,或执行失败,则无法登录主机。
父Shell、子Shell
当在执行一个Shell Script时,父Shell会根据Script程序的第一行#!之后指定的Shell程序开启一个子Shell环境,然后在子Shell中执行此Shell Script。一旦子Shell中的Script执行完毕,此子Shell随即结束,回到父Shell中,不会影响父Shell原本的环境。
子Shell环境拥有与父Shell相同的环境变量、标准输入、输出、错误等。
例如:
test.sh文件内容
#!/bin/bash
cd /var/www/html
命令行:chmod +x /test.sh
命令行:./test.sh
执行完脚本后还原到父Shell,并且父Shell并没有进入/var/www/html目录。
注:这是因为当执行Shell文件时,父Shell会创建子Shell,各自独立。
如果需要使用父Shell来执行此脚本,可以使用:
命令行:. ./test.sh
注意.与./之间有一个空格符
子Shell继续开启子Shell
与父Shell启动子Shell方式一样,继续调用下去,即子Shell开启子Shell。
通过$SHLVL变量,可以知道当前所在Shell的层次