shell IO重定向

1. I/O重定向

　　默认情况下，有3个“文件”处于打开状态，stdin,stdout,stderr；重定向的解释：捕捉一个文件，命令，程序，脚本或者脚本中的代码块的输出，然后将这些输出作为输入发送到另一个文件，命令，程序或者脚本中。

　　每个打开的文件都会被分配一个文件描述符，stdin,stdout,stderr的文件描述符分别是0，1，2.除了这3个文件，对于其他需要打开的文件，保留文件描述符3~9.在某些情况下，将这些额外的文件描述符分配给stdin,stdout或stderr作为临时的副本链接也是非常有用的。在经过复杂的重定向和刷新之后需要把他们恢复成正常状态。可以使用shell内建ulimit -n查看最大文件描述符，一般未1024.

ulimit描述如下：

              -a     All current limits are reported
              -b     The maximum socket buffer size
              -c     The maximum size of core files created
              -d     The maximum size of a process's data segment
              -e     The maximum scheduling priority ("nice")
              -f     The maximum size of files written by the shell and its children
              -i     The maximum number of pending signals
              -l     The maximum size that may be locked into memory
              -m     The maximum resident set size (many systems do not honor this limit)
              -n     The maximum number of open file descriptors (most systems do not allow this value to be set)
              -p     The pipe size in 512-byte blocks (this may not be set)
              -q     The maximum number of bytes in POSIX message queues
              -r     The maximum real-time scheduling priority
              -s     The maximum stack size
              -t     The maximum amount of cpu time in seconds
              -u     The maximum number of processes available to a single user
              -v     The maximum amount of virtual memory available to the shell and, on some systems, to its children
              -x     The maximum number of file locks
              -T     The maximum number of threads
    

ulimit -a结果如下：

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 513989
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 4096
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

COMMAND_OUTPUT >
#将stdout重定向到一个文件，如果这个文件不存在，就创建，否则就覆盖
: > filename
#将filename变成一个空文件(size=0); 
# ：是一个占位符，不产生任何输出
 > filename
#同上，某些shell可能不支持

COMMAND_OUTPUT >>
#将stdout重定向到一个文件，如果这个文件不存在，就创建，否则就追加
1> filename
#重定向stdout到filename; 
1>> filename
#重定向并追加stdout到filename; 

M>N
#M是文件描述符，默认是1；N是一个文件名；文件描述符M被重定向到文件N

M>&N
#M是文件描述符，默认是1；N是一个文件描述符；文件描述符M被重定向到文件N

2>&1
#重定向stderr到stdout,将错误消息的输出，发送到与标准输出所指向的方向

i>&j
#重定向描述符i到j，默认i是1

0<FILENAME
  <FILENAME
#从文件中接受输入

[j]<>filename
#为了读写filename，把filename打开，并且将文件描述符j分配给它；如果filename不存在，就创建；如果描述符j没指定，默认fd 0，stdin
 echo 1234567890 > File    # 写字符串到"File".
 exec 3<> File             # 打开"File"并且将fd 3分配给它.
 read -n 4 <&3             # 只读取4个字符.
 echo -n . >&3             # 写一个小数点
 exec 3>&-                 # 关闭fd 3.
 cat File                  # ==> 1234.67890

n<&-
#关闭输入文件描述符n

0<&-,<&-
#关闭stdin

n>&-
#关闭输出文件描述符n

1>&-,>&-
#关闭stdout

    2. 使用exec进行I/O重定向

参考资料：http://www.linuxplus.org/kb/x13380.html

exec <filename命令会将stdin重定向到文件中. 从这句开始, 所有的stdin就都来自于这个文件了, 而不是标准输入(通常都是键盘输入). 这样就提供了一种按行读取文件的方法, 并且可以使用sed和/或awk来对每一行进行分析.

使用exec进行IO重定向可以避免子shell的产生

#!/bin/bash
#avoid_subshell.sh

Lines=0
echo
cat myfile.txt | while read line; #管道会产生子shell
                    do {
                        echo $line
                        (( Lines++ )); #Lines的自加属于子shell范围，外部不能访问
                        echo "in while Lines is $Lines"
                    }
                  done

echo "Number of lines read = $Lines"  #结果为0，显示的结果是错误的
echo "------------------------"                  

exec 3<> myfile.txt  #使用exec打开文件，使用文件描述符3
while read line <&3
do {
    echo "$line"
    (( Lines++ )); #不会产生子shell
}
done
exec 3>&-
echo "Number of lines read = $Lines"       #Lines输出的值是正确的
exit 0

上述代码中应该增加一行"exec 3<&-"；原因：使用<>打开文件的读写操作之后，在关闭时，需要分别关闭文件的读和写，需要分开操作。

其中，myfile.txt的内容如下：

Line 1.
Line 2.
Line 3.
Line 4.
Line 5.
Line 6.
Line 7.
Line 8.

    3. 代码块重定向

参考资料：http://www.linuxplus.org/kb/redircb.html

下面是for循环的重定向example：

#!/bin/bash

if [ -z "$1" ]
then
    Filename=names.data #
else
    Filename=$1
fi

#Filename=${1:-names.data} #这句可以代替上面的if语句（参数替换）


Savefile=$Filename.new #保存最终结果的文件
FinalName=Jonah #终止“read”时的名称

line_count=`wc $Filename | awk '{ print $1 }'` #目标文件的行数
echo "line_count=$line_count"

for name in `seq $line_count` #seq会打印出数字序列
do
    read name 
    echo "$name"
    if [ "$name" = "$FinalName" ]
    then
        break
    fi
done < "$Filename" > "$Savefile"    #重定向stdin到文件$Filename，
#             将输出重定向到$Savefile文件

exit 0