zoukankan      html  css  js  c++  java
  • logstash 使用kafka范例

    写入到kafka

    input {
        stdin { }
    
    }
    
    output {
        kafka {
            bootstrap_servers => "10.0.0.200:9092"
            topic_id => "test"
        }
    
    
    }
    

    ##从kafka中将数据读出,写入到 elasticsearch中

    input {
        kafka {
             bootstrap_servers => ["10.0.0.200:9092"] ##kafka地址,可以是集群
             client_id => "test"    
             auto_offset_reset => "latest"  ##从最新的偏移量开始消费
             topics => ["test"]  ## 数组类型,可配置多个topic
             decorate_events => true  #此属性会将当前topic、offset、group、partition等信息也带到message中
             consumer_threads => 5
    
        }
    
    }
    output {
        elasticsearch {
            hosts => ["10.0.0.140:9200"]
            index => "kafka-%{+YYYY.MM.dd}"
        }
        stdout{
            codec => rubydebug     ##输出到屏幕上
        }
    
    }
    

      

  • 相关阅读:
    服务器切换
    闭包函数
    函数对象+嵌套
    lvs讲解
    了解python
    rang enumerate
    set-集合功能介绍
    元组-tuple功能介绍
    dict-字典功能介绍
    list-列表功能介绍
  • 原文地址:https://www.cnblogs.com/zhangb8042/p/9176261.html
Copyright © 2011-2022 走看看