zoukankan      html  css  js  c++  java
  • Flume入门案例

    首先需要通过一个配置文件来配置Agent。
    通过flume提供的工具启动agent就可以工作了。
     
    (1)编写配置文件
    #example.conf:单节点Flume配置
    #命名Agent a1的组件
    a1.sources  =  r1
    a1.sinks  =  k1
    a1.channels  =  c1
     
    #描述/配置Source
    a1.sources.r1.type  =  netcat
    a1.sources.r1.bind  =  0.0.0.0
    a1.sources.r1.port  =  44444
     
    #描述Sink
    a1.sinks.k1.type  =  logger
     
    #描述内存Channel
    a1.channels.c1.type  =  memory
    a1.channels.c1.capacity  =  1000 
    a1.channels.c1.transactionCapacity  =  100
     
    #为Channle绑定Source和Sink
    a1.sources.r1.channels  =  c1
    a1.sinks.k1.channel  =  c1
     
    **一个配置文件中可以配置多个Agent,一个Agent中可以包含多个Source Sink Channel
    **一个Source 可以绑定到多个通道,一个Sink只能绑定到一个通道
     
    (2)通过flume的工具启动agent
    $ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console
     
    (3)在windows中通过telnet命令连接flume所在机器的44444端口发送数据。
    发现,flume确实收集到了该信息。
  • 相关阅读:
    Http协议(一)基础知识
    Redis问题汇总
    Sql Server存储过程传递XML参数
    C# Redis
    Task的异常捕获和处理方法
    Entity Framework教程
    WebBrowser 弹窗体关闭原理
    C# 虹软SDK视频人脸识别和注册
    C#性能优化:延迟初始化Lazy
    DZ 特殊主题简单开发教程
  • 原文地址:https://www.cnblogs.com/zpb2016/p/5766914.html
Copyright © 2011-2022 走看看