zoukankan      html  css  js  c++  java
  • 重构后的程序:通过rsync命令抓取日志文件

    push.sh

    #!/bin/bash
    
    function push()
    {
            local ip=$1
            local user=$2
            local password=$3
    
            local path=$4
            local localPath=$5
            local error=$6
    
            :>$error
            export RSYNC_PASSWORD="$password"
            rsync -Cavz $user@$ip::$path $localPath > $error 2>&1
    
            # 判断是否发送错误
            grep "rsync error" $error > $error"_copy"
            cp $error"_copy" $error
            rm -f $error"_copy"
    }
    
    
    # serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc")
    # fileInfo=([1]="logs/syslog/project_log.20131226.16" [2]="./lishujun.log" [3]="aaa")
    # push ${serverInfo[*]} ${fileInfo[*]}

    catch.sh

    #!/bin/sh
    
    . push.sh
    
    # 错误处理:尝试查找备份文件
    function onError()
    {
            local errFile="err"
            local serverInfo=($1 $2 $3) # ip username password
            local logInfo=($4 $5)       # srcPath destPath
    
            local srcPath=${logInfo[0]}
            logInfo[0]="disk1/"${srcPath##*/}".gz" #备份文件路径
            logInfo[1]=${logInfo[1]}".gz"
    
    
            push ${serverInfo[*]} ${logInfo[*]} $errFile
    
            if [ -s $errFile ]; then
                    echo "the file ${logInfo[0]} was not found"
            fi
    }
    
    # 抓取指定日期指定时间的日志文件
    function catchLogByHour()
    {
            local errFile="err"
            local serverInfo=($1 $2 $3) # serverInfo=(ip username password)
            local logInfo=($4 $5)       # logInfo=(srcPath destPath)
            local endHour=$6
    
            local i=0
            while [ $i -le $endHour ];
            do
                    hour=$i
                    if [ $hour -lt 10 ]; then
                            hour="0"$hour 
                    fi
    
              local hourLogInfo # 声明为局部变量 hourLogInfo[
    0]=${logInfo[0]}"."$hour hourLogInfo[1]=${logInfo[1]}"."$hour push ${serverInfo[*]} ${hourLogInfo[*]} $errFile if [ -s $errFile ]; then onError ${serverInfo[*]} ${hourLogInfo[*]} fi i=`expr $[$i+1]` done } # for test # logDate="20061220" # serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc") # logInfo=([1]="logs/syslog/project_log."$logDate [2]="./data/project_log."$logDate [3]="11") # catchLogByHour ${serverInfo[*]} ${logInfo[*]}

    main.sh

    #! /bin/sh
    
    cd `dirname $0`
    
    . catch.sh
    
    if [ $# -eq 0 ]; then
            # 取昨天数据
            logDate=`date -d"1 day ago" +'%Y%m%d'`
            hour=23
    else
            # 取指定日期时间
    
            today=`date +'%Y%m%d'`
            logDate=$1
            if [ "$1" == "$today" ]; then
                    # 取当天数据已产生的数据
                    hour=`date -d "1 hour ago" +"%H"`
            else
                    # 取历史数据
                    hour=23
            fi
    fi
    
    serverInfo=([1]="172.18.11.200" [2]="log" [3]="abcabc")
    logInfo=([1]="logs/syslog/project_log."$logDate [2]="./data/project_log."$logDate [3]=$hour)
    catchLogByHour  ${serverInfo[*]} ${logInfo[*]}

    因为坚持了模块化的设计,所以理论上我可以在不惊动catch.sh, main.shpush.sh 增加失败重试的功能:

    #!/bin/bash
    
    MAX_RE_CONNECT=2
    SLEEP_TIME=2
    
    # 实际推送动作
    function pushAction()
    {
            local ip=$1
            local user=$2
            local password=$3
    
            local path=$4
            local localPath=$5
            local error=$6
    
            :>$error # 清空文件相当于rm,touch命令
            export RSYNC_PASSWORD="$password"
            rsync -Cavz $user@$ip::$path $localPath > $error 2>&1
    
            # 判断是否发送错误
            grep "rsync error" $error > $error"_copy"
            cp $error"_copy" $error
            rm -f $error"_copy"
    }
    
    # 失败重新尝试,一旦超过最大尝试次数认为无法完成
    function push()
    {
    
            local serverInfo=($1 $2 $3) # ip username password
            local logInfo=($4 $5)       # srcPath destPath
            local error=$6
    
            local i=0
            while [ $i -lt $MAX_RE_CONNECT ]
            do
                    pushAction ${serverInfo[*]} ${logInfo[*]} $error
    
                    # no error
                    if [ ! -s $error ]; then
                            break
                    fi
    
                    echo "try again..."
                    sleep $SLEEP_TIME
                    i=`expr $[$i+1]`
            done
    }
    
    # for test
    # serverInfo=([1]="172.18.11.201" [2]="log" [3]="wappplog")
    # fileInfo=([1]="logs/syslog/project_log.20131229.16" [2]="./lishujun.log" [3]="aaa")
    # push ${serverInfo[*]} ${fileInfo[*]}
    wappp@ppcn-11-212:/work/stat/read/catchlo

    刚才想了一下,我觉得我近两年来虽然编码能力大增,但是写出的代码质量还是需要改善,为什么呢?当然坚持我是对的时候,多半我的设计是没有问题的,但是我在实现设计的时候会出问题,例如我会把a == b.c 写成a==b 在动态语言下这样都不会报错,所以bug混进来了,其实只要发现很好解决,但问题我自己一般都不会发现,需要测试人员或者其他人发现我去检查,发现,哦,原来是这样的啊,然后解决掉

    我刚才想了一下,代码想要写的质量好还是应该做到这么几点,通过我这个例子:

    1, 态度, 要有一个写高质量代码的心

    2, 切割,合适的把代码进行切割,让每一个部分适于测试

    3, 在脑子里进行单元测试,把每一种情况都执行一下

    例如我的mian.sh的测试用例

    1 不输入参数 - 是否在指定目录抓取到昨天的日志

    2 输入前天的日期  - 是否抓到非压缩的文件

    3 输入历史日期 - 是否抓到压缩的文件

    4 输入当前日期 - 是否抓到今天前一个小时的所有非压缩文件

    5 输出过于久远的日期以至于肯定抓不到如何文件 - 是否提示文件was not found

    因为鄙人的天资所限,我实在不能把这个测试从main.sh一直跟到catch.sh和push.sh。我只能单个模块进行模拟测试,在每个模块里验证每个模块的功能,

  • 相关阅读:
    I/O会一直占用CPU吗?【转载】
    CPU和线程的关系
    future封装了callable,thread封装future。
    (转)Java中的守护线程
    线程中sleep方法和wait方法有什么区别?(转)
    Java异常---获取异常的堆栈信息
    分析iOS Crash文件,使用命令符号化iOS Crash文件
    String Matching(poj1580)
    U转串口驱动安装
    [LNU.Machine Learning.Question.1]梯度下降方法的一些理解
  • 原文地址:https://www.cnblogs.com/code-style/p/3494580.html
Copyright © 2011-2022 走看看