zoukankan      html  css  js  c++  java
  • 基于Hadoop集群开发shell采集脚本

    需求分析:

         生活中存在这样的情况,需要将同名日志文件进行上传周期性上传至指定文件夹中

    技术分析:

      定时调度器: Linux crontab

      crontab -e

      */5 * * * * $home/bin/command.sh //五分钟执行一次 系统会自动执行脚本,每5分钟一次,执行时判断文件是否符合上传规则,符合则上传

    所需要解决的问题

    1.虽然上传到Hadoop集群上,但对于原始文件如何处理       ----------------->  建立带上传目录,将文件传入带上传目录后,删除原文件

    2.日志同名如何解决   ------------->   加入类似时间戳的东西,用data获取时间,加到文件名末尾

    首先我们到 /export/data/ogs/路径下建立log目录   输入: cd /export/data/        mkdir  -p logs/log         

    建立三个模拟文件 

    touch access.log  access.log.1   access.log.2

    建立一个带上传文件夹

    mkdir -p /export/data/logs/toupload

    创建Shell脚本

    #!/bin/bash

    #set java env
    export JAVA_HOME=/export/servers/jdk
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

    #set hadoop env
    export HADOOP_HOME=/export/servers/hadoop-2.7.4
    export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH


    #版本1的问题:
    #虽然上传到Hadoop集群上了,但是原始文件还在。如何处理?
    #日志文件的名称都是xxxx.log1,再次上传文件时,因为hdfs上已经存在了,会报错。如何处理?

    #如何解决版本1的问题
    #       1、先将需要上传的文件移动到待上传目录
    #    2、在将文件移动到待上传目录时,将文件按照一定的格式重名名
    #        /export/software/hadoop.log1   /export/data/click_log/xxxxx_click_log_{date}


    #日志文件存放的目录
    log_src_dir=/export/data/logs/log/

    #待上传文件存放的目录
    log_toupload_dir=/export/data/logs/toupload/

    #设置日期
    date1=`date +%Y-%m-%d`

    #日志文件上传到hdfs的根路径
    hdfs_root_dir=/data/clickLog/$date1/

    #打印环境变量信息
    echo "envs: hadoop_home: $HADOOP_HOME"


    #读取日志文件的目录,判断是否有需要上传的文件
    echo "log_src_dir:"$log_src_dir
    ls $log_src_dir | while read fileName
    do
        if [[ "$fileName" == access.log.* ]]; then
        # if [ "access.log" = "$fileName" ];then
            date=`date +%Y_%m_%d_%H_%M_%S`
            #将文件移动到待上传目录并重命名
            #打印信息
            echo "moving $log_src_dir$fileName to $log_toupload_dir"xxxxx_click_log_$fileName"$date"
            mv $log_src_dir$fileName $log_toupload_dir"xxxxx_click_log_$fileName"$date
            echo $log_toupload_dir"xxxxx_click_log_$fileName"$date >> $log_toupload_dir"willDoing."$date
        fi
        
    done

    ls $log_toupload_dir | grep will |grep -v "_COPY_" | grep -v "_DONE_" | while read line
    do
        #打印信息
        echo "toupload is in file:"$line
        mv $log_toupload_dir$line $log_toupload_dir$line"_COPY_"
        cat $log_toupload_dir$line"_COPY_" |while read line
        do
            #打印信息
            echo "puting...$line to hdfs path.....$hdfs_root_dir"
            hadoop fs -mkdir -p $hdfs_root_dir
            hadoop fs -put $line $hdfs_root_dir
        done    
        mv $log_toupload_dir$line"_COPY_"  $log_toupload_dir$line"_DONE_"
    done

     

     这样在开启集群的情况下运行脚本便可以把文件夹中的日志文件过滤上传

    实验现象:
    上传成功,符合条件的文件消失

     

     

  • 相关阅读:
    报表中的Excel操作之Aspose.Cells(Excel模板)
    .NET开源组件
    JSON 和 JSONP
    servlet 中getLastModified()
    spring mvc源码-》MultipartReques类-》主要是对文件上传进行的处理,在上传文件时,编码格式为enctype="multipart/form-data"格式,以二进制形式提交数据,提交方式为post方式。
    spring mvc dispatcherservlet处理request流程
    log显示error时的堆栈信息理解和分析
    web项目log日志查看分析->流程理解
    war包结构
    Spring Boot干货系列:(三)启动原理解析
  • 原文地址:https://www.cnblogs.com/longshisan/p/14889670.html
Copyright © 2011-2022 走看看