push.sh
#!/bin/bash function push() { local ip=$1 local user=$2 local password=$3 local path=$4 local localPath=$5 local error=$6 :>$error export RSYNC_PASSWORD="$password" rsync -Cavz $user@$ip::$path $localPath > $error 2>&1 # 判断是否发送错误 grep "rsync error" $error > $error"_copy" cp $error"_copy" $error rm -f $error"_copy" } # serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc") # fileInfo=([1]="logs/syslog/project_log.20131226.16" [2]="./lishujun.log" [3]="aaa") # push ${serverInfo[*]} ${fileInfo[*]}
catch.sh
#!/bin/sh . push.sh # 错误处理:尝试查找备份文件 function onError() { local errFile="err" local serverInfo=($1 $2 $3) # ip username password local logInfo=($4 $5) # srcPath destPath local srcPath=${logInfo[0]} logInfo[0]="disk1/"${srcPath##*/}".gz" #备份文件路径 logInfo[1]=${logInfo[1]}".gz" push ${serverInfo[*]} ${logInfo[*]} $errFile if [ -s $errFile ]; then echo "the file ${logInfo[0]} was not found" fi } # 抓取指定日期指定时间的日志文件 function catchLogByHour() { local errFile="err" local serverInfo=($1 $2 $3) # serverInfo=(ip username password) local logInfo=($4 $5) # logInfo=(srcPath destPath) local endHour=$6 local i=0 while [ $i -le $endHour ]; do hour=$i if [ $hour -lt 10 ]; then hour="0"$hour fi
local hourLogInfo # 声明为局部变量 hourLogInfo[0]=${logInfo[0]}"."$hour hourLogInfo[1]=${logInfo[1]}"."$hour push ${serverInfo[*]} ${hourLogInfo[*]} $errFile if [ -s $errFile ]; then onError ${serverInfo[*]} ${hourLogInfo[*]} fi i=`expr $[$i+1]` done } # for test # logDate="20061220" # serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc") # logInfo=([1]="logs/syslog/project_log."$logDate [2]="./data/project_log."$logDate [3]="11") # catchLogByHour ${serverInfo[*]} ${logInfo[*]}
main.sh
#! /bin/sh cd `dirname $0` . catch.sh if [ $# -eq 0 ]; then # 取昨天数据 logDate=`date -d"1 day ago" +'%Y%m%d'` hour=23 else # 取指定日期时间 today=`date +'%Y%m%d'` logDate=$1 if [ "$1" == "$today" ]; then # 取当天数据已产生的数据 hour=`date -d "1 hour ago" +"%H"` else # 取历史数据 hour=23 fi fi serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc") logInfo=([1]="logs/syslog/project_log."$logDate [2]="./data/project_log."$logDate [3]=$hour) catchLogByHour ${serverInfo[*]} ${logInfo[*]}
因为坚持了模块化的设计,所以理论上我可以在不惊动catch.sh, main.sh 给push.sh 增加失败重试的功能:
#!/bin/bash MAX_RE_CONNECT=2 SLEEP_TIME=2 # 实际推送动作 function pushAction() { local ip=$1 local user=$2 local password=$3 local path=$4 local localPath=$5 local error=$6 :>$error # 清空文件相当于rm,touch命令 export RSYNC_PASSWORD="$password" rsync -Cavz $user@$ip::$path $localPath > $error 2>&1 # 判断是否发送错误 grep "rsync error" $error > $error"_copy" cp $error"_copy" $error rm -f $error"_copy" } # 失败重新尝试,一旦超过最大尝试次数认为无法完成 function push() { local serverInfo=($1 $2 $3) # ip username password local logInfo=($4 $5) # srcPath destPath local error=$6 local i=0 while [ $i -lt $MAX_RE_CONNECT ] do pushAction ${serverInfo[*]} ${logInfo[*]} $error # no error if [ ! -s $error ]; then break fi echo "try again..." sleep $SLEEP_TIME i=`expr $[$i+1]` done } # for test # serverInfo=([1]="172.18.11.201" [2]="log" [3]="wappplog") # fileInfo=([1]="logs/syslog/project_log.20131229.16" [2]="./lishujun.log" [3]="aaa") # push ${serverInfo[*]} ${fileInfo[*]} wappp@ppcn-11-212:/work/stat/read/catchlo
刚才想了一下,我觉得我近两年来虽然编码能力大增,但是写出的代码质量还是需要改善,为什么呢?当然坚持我是对的时候,多半我的设计是没有问题的,但是我在实现设计的时候会出问题,例如我会把a == b.c 写成a==b 在动态语言下这样都不会报错,所以bug混进来了,其实只要发现很好解决,但问题我自己一般都不会发现,需要测试人员或者其他人发现我去检查,发现,哦,原来是这样的啊,然后解决掉
我刚才想了一下,代码想要写的质量好还是应该做到这么几点,通过我这个例子:
1, 态度, 要有一个写高质量代码的心
2, 切割,合适的把代码进行切割,让每一个部分适于测试
3, 在脑子里进行单元测试,把每一种情况都执行一下
例如我的mian.sh的测试用例
1 不输入参数 - 是否在指定目录抓取到昨天的日志
2 输入前天的日期 - 是否抓到非压缩的文件
3 输入历史日期 - 是否抓到压缩的文件
4 输入当前日期 - 是否抓到今天前一个小时的所有非压缩文件
5 输出过于久远的日期以至于肯定抓不到如何文件 - 是否提示文件was not found
因为鄙人的天资所限,我实在不能把这个测试从main.sh一直跟到catch.sh和push.sh。我只能单个模块进行模拟测试,在每个模块里验证每个模块的功能,