1，统计数据的基本情况，包括微博总数，用户总数，最活跃和最不活跃的用户id
#!/bin/sh source_dir=/home/minelab/data/DATA source_file_name=userinfo_00_au_1_out source_file=$source_dir/$source_file_name #source_file=test.src out_dir=/home/minelab/liweibo/daV out_file_name=basic_satic.txt out_file=$out_dir/result/$out_file_name out_id_file_name=id_count.list out_id_file=$out_dir/result/$out_id_file_name rm -rf $out_file rm -rf $out_id_file ##进行大v用户基础数据统计### #统计所有微博总数# echo "#微博总数：">>$out_file cat $source_file | wc -l >> $out_file #统计用户总数,发布微博最多的用户和最少的用户# cat $source_file | awk -F' ' '{print $16}' | sort | uniq -c | sort -r -n | sed 's/^ *//g' | awk '{print $2" "$1}'> $out_id_file echo "#用户总数：">> $out_file wc -l $out_id_file | awk '{print $1}'>> $out_file #统计发布微博最多的用户# echo "#发布微博最多的用户id：">>$out_file head -n 1 $out_id_file >> $out_file #统计发布微博最少的用户# echo "#发布微博最少的用户id:">>$out_file tail -n 1 $out_id_file >> $out_file