【转】Linux中多线程wait使用注意

使用管道生成的while，是无法进行并发管理的

 

hdfs dfs -rmr $cdns_hadoop_base_dir/dt=$ydate
hdfs dfs -mkdir $cdns_hadoop_base_dir/dt=$ydate
cat nodeList| while read nodename 
do
    hdfs dfs -mkdir $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
    ls *$nodename*lzo > cdnsFileListLzo
    while read query_log
    do
    (    hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
        rm $query_log -rf
        yarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &
    done < cdnsFileListLzo
wait
done

 

里面用小括号括住代码块。。。

在处理日志的时候，采用管道多线程，怎么都实现不了wait功能，经上篇文章才知道，使用管道生成的while，无法进行并发管理。

while read query_log
    do
    (    hdfs dfs -put $query_log $cdns_hadoop_base_dir/dt=$ydate/node=$nodename
        rm $query_log -rf
        yarn jar ${hadooplzojar} ${hadooplzoclass} $cdns_hadoop_base_dir/dt=$ydate/node=$nodename/$query_log ) &
    done < cdnsFileListLzo

修改为上述方式，完美解决问题。。。

OVER