zoukankan      html  css  js  c++  java
  • Flume安装——环境搭建(二)

    前言

    如果你从本文中学习到丝毫知识,那么请您点点关注、点赞、评论和收藏
    大家好,我是爱做梦的鱼,我是东北大学大数据实验班大三的小菜鸡,非常渴望优秀,羡慕优秀的人。从5月25号我们开始了为期两个月的实习,我们需要做一个大型大数据项目,一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏,我会每天更新。
    专栏:大数据案例实战——大三春招大数据开发
    专栏:Spark官方文档解读【Spark2.4.5中英双语】
    博客地址:子浩的博客https://blog.csdn.net/weixin_43124279

    欢迎大家关注微信公众号【程序猿干货铺
    一群热爱技术并且向往优秀的程序猿同学,不喜欢水文,不喜欢贩卖焦虑,只喜欢谈技术,分享的都是技术干货。Talk is cheap. Show me the code
    在这里插入图片描述

    一、flume (日志收集系统) 简介

    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
    当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。

    1.日志收集

    Flume最早是Cloudera提供的日志收集系统,是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。

    2.优势

    1. Flume可以将应用产生的数据存储到任何集中存储器中,比如HDFS,HBase
    2. 当收集数据的速度超过将写入数据的时候,也就是当收集信息遇到峰值时,这时候收集的信息非常大,甚至超过了系统的写入数据能力,这时候,Flume会在数据生产者和数据收容器间做出调整,保证其能够在两者之间提供平稳的数据.
    3. 提供上下文路由特征
    4. Flume的管道是基于事务,保证了数据在传送和接收时的一致性.
    5. Flume是可靠的,容错性高的,可升级的,易管理的,并且可定制的。

    二、Flume安装

    1.Flume安装地址

    1) Flume官网地址
    http://flume.apache.org/
    2)文档查看地址
    http://flume.apache.org/FlumeUserGuide.html
    3)下载地址
    http://archive.apache.org/dist/flume/

    2.安装部署

    1)将apache-flume-1.9.0-bin.tar.gz上传到linux的/BigData目录下
    2)解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下

    tar -zxf apache-flume-1.9.0-bin.tar.gz 
    

    在这里插入图片描述
    3)修改apache-flume-1.9.0-bin的名称为flume-1.9.0

    mv apache-flume-1.9.0-bin flume-1.9.0
    

    在这里插入图片描述
    4)将flume/conf下的flume-env.sh.template文件修改为flume-env.sh,并配置flume-env.sh文件

    mv flume-env.sh.template flume-env.sh
    vim flume-env.sh
    export JAVA_HOME=/usr/local/java/jdk1.8.0_151
    
  • 相关阅读:
    比较器
    堆排序
    快速排序
    荷兰国旗问题
    python查漏补缺 --- 基础概念及控制结构
    redis 交集、并集、差集
    spark问题
    IDEA写scala简单操作
    hive 中遇到的正则
    scala模式匹配
  • 原文地址:https://www.cnblogs.com/DreamingFishZIHao/p/13079640.html
Copyright © 2011-2022 走看看