zoukankan      html  css  js  c++  java
  • flume的案列测试之收集socket端数据,并显示到logger端

    步骤:

    1.在Linux下安装netcat工具,用户开启socket客户端:

      a.切换至root下

        $>su root

      b.执行安装命令

        $>yum install -y nc

      c.切换至Alex_lei用户下,模拟聊天室:

        $>nc

        开启服务端 $>nc -l 55555

        开启客户端 $>nc localhost 55555

    2.创建Agent

      编写agent配置信息,在{FLUME_HOME/conf}目录下,新建example.conf,添加以下代码:

      a1.sources = s1

      a1.channels = c1
      a1.sinks = k1

      #定义agent的source属性
      a1.sources.s1.type = netcat
      a1.sources.s1.bind = master
      a1.sources.s1.port = 55555

      #配置agent的sink属性
      a1.sinks.k1.type = logger

      #配置agent的channel的属性
      a1.channels.c1.type = memory

      a1.sources.s1.channels = c1
      a1.sinks.k1.channel = c1 //注意:a1.sinks.k1.channel后不用有s

    3.开启flume进程

    $>flume-ng agent --name a1 --conf /home/Alex_lei/soft/flume/conf/ --conf-file /home/hyxy/soft/flume/conf/example.conf -Dflume.root.logger=INFO,consol

    4.开启nc客户端

      $>nc master 55555

      hello world

      zhang san

    5.结果

      在flume的会话窗口中,显示以下信息:
      Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 hello world }
      Event: { headers:{} body: 7A 68 61 6E 67 20 73 61 6E zhang san }

    总结:agent包含三个组件为Source,Channel,Sink,分别代表的意思是数据源,中间管道,起到桥梁的作用,写到什么地方。上述Source为Console,Channel默认为memory内存,Sink为logger。

      若我们要写到hdfs或者hive,我们可以去flume的官网查看相关配置文件的信息,根据自己的需要选择,选择hdfs,我们就去Flume sink下zhaodao hdfs选项查看相关的配置信息进行配置就可以。 

      当然还可以将多个flume串联进行配置,也可以多个flume并联最后输入到一个flume的agent进行写出,官网具有详细的配置方案。 

  • 相关阅读:
    暑 假 队 测 Round #5
    暑 假 队 测 Round #4
    暑 假 队 测 Round #3
    什么是nginx、CGI、fastCGI、php-fpm、PHP-CGI,fast-CGI 与 php-cgi又是什么关系
    Go源码各目录含义
    User space 与 Kernel space
    Shell脚本编程30分钟入门
    Tomcat7配置及其servlet调用详解
    最简单的移动端适配方案
    textarea元素只设置高可变,宽固定
  • 原文地址:https://www.cnblogs.com/lyr999736/p/10201924.html
Copyright © 2011-2022 走看看