zoukankan      html  css  js  c++  java
  • flume的案列测试之收集socket端数据,并显示到logger端

    步骤:

    1.在Linux下安装netcat工具,用户开启socket客户端:

      a.切换至root下

        $>su root

      b.执行安装命令

        $>yum install -y nc

      c.切换至Alex_lei用户下,模拟聊天室:

        $>nc

        开启服务端 $>nc -l 55555

        开启客户端 $>nc localhost 55555

    2.创建Agent

      编写agent配置信息,在{FLUME_HOME/conf}目录下,新建example.conf,添加以下代码:

      a1.sources = s1

      a1.channels = c1
      a1.sinks = k1

      #定义agent的source属性
      a1.sources.s1.type = netcat
      a1.sources.s1.bind = master
      a1.sources.s1.port = 55555

      #配置agent的sink属性
      a1.sinks.k1.type = logger

      #配置agent的channel的属性
      a1.channels.c1.type = memory

      a1.sources.s1.channels = c1
      a1.sinks.k1.channel = c1 //注意:a1.sinks.k1.channel后不用有s

    3.开启flume进程

    $>flume-ng agent --name a1 --conf /home/Alex_lei/soft/flume/conf/ --conf-file /home/hyxy/soft/flume/conf/example.conf -Dflume.root.logger=INFO,consol

    4.开启nc客户端

      $>nc master 55555

      hello world

      zhang san

    5.结果

      在flume的会话窗口中,显示以下信息:
      Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64 hello world }
      Event: { headers:{} body: 7A 68 61 6E 67 20 73 61 6E zhang san }

    总结:agent包含三个组件为Source,Channel,Sink,分别代表的意思是数据源,中间管道,起到桥梁的作用,写到什么地方。上述Source为Console,Channel默认为memory内存,Sink为logger。

      若我们要写到hdfs或者hive,我们可以去flume的官网查看相关配置文件的信息,根据自己的需要选择,选择hdfs,我们就去Flume sink下zhaodao hdfs选项查看相关的配置信息进行配置就可以。 

      当然还可以将多个flume串联进行配置,也可以多个flume并联最后输入到一个flume的agent进行写出,官网具有详细的配置方案。 

  • 相关阅读:
    20080619 SQL SERVER 输入 NULL 的快捷键
    20090406 Adobe的“此产品的许可已停止工作”错误的解决办法
    20080908 Office Powerpoint 2007 不能输入中文的解决办法
    20080831 ClearGertrude Blog Skin 's cnblogs_code class
    20080603 Facebook 平台正式开放
    20080519 安装 Microsoft SQL Server 2000 时提示 创建挂起的文件操作
    test
    Linux—fork函数学习笔记
    SOA的设计理念
    Why BCP connects to SQL Server instance which start with account of Network Service fail?
  • 原文地址:https://www.cnblogs.com/lyr999736/p/10201924.html
Copyright © 2011-2022 走看看