zoukankan      html  css  js  c++  java
  • Flume的概述和安装部署

    一、Flume概述

      Flume是一种分布式、可靠且可用的服务,用于有效的收集、聚合和移动大量日志文件数据。Flume具有基于流数据流的简单灵活的框架,具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错能力。Flume使用简单的的可扩展数据模型,循环在线分析应用程序。

    二、Flume的作用

      数据的来源大致有三类:

      1.爬虫

      2.日志数据   =>使用Flume进行获取传输

      3.传统数据库  =>使用Sqoop进行数据迁移

    三、Flume架构

      1.source:数据源

        接收webser端的数据,产生数据流

        同时source将产生数据流传输到channel

      2.channel:传输管道

        用于桥接source和sinks

      3.sinks:下沉

        从channel接收数据,并传输到hdfs或下一个agent

      4.agent:代理

        一个agent中包含一组source,channel,sinks

    四、Flume的安装部署

      1.从官网下载flume安装包(本人使用的是1.6.0版本)

      2.上次到linux中解压

        tar -zxvf ***.tar

      3.重命名解压缩的文件夹为flume,方便以后更新维护

      4.进去flume下的conf文件夹,将文件flume-env.sh.template重命名为flume-env.sh

      5.进去该文件,删除java_home的注释,并修改java路径为本机的java_home路径

        export JAVA_HOME=/root/hd/jdk1.8.0_102

      6.保存并退出,安装完成!

  • 相关阅读:
    1-接口测试基础知识
    import os
    好用封装好的函数
    python下载代码
    cookie关系图,url编码(urllib.parse模块)
    import flask(make_response),urllib,requests,base64
    mock接口开发,excel(读,写,修改)
    import json,random,time,datetime,hashlib,redis,pymysql
    集合和函数
    python 文件读写
  • 原文地址:https://www.cnblogs.com/HelloBigTable/p/10424098.html
Copyright © 2011-2022 走看看