zoukankan      html  css  js  c++  java
  • logstash日志写入kafka

    • 安装kafka 
      • curl -L -O https://mirrors.cnnic.cn/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz
      • tar xf kafka_2.10-0.10.2.1.tgz
      • cd kafka_2.10-0.10.2.1
      • cd config/
      • vim zookeeper.properties 
        • 新加

          host.name=192.168.0.248
          advertised.host.name=192.168.0.248

      • cd ../bin
      • 启动zookeeper   nohup ./zookeeper-server-start.sh ../config/zookeeper.properties &
      • 启动kalfka         nohup ./kafka-server-start.sh ../config/server.properties  &
      • 创建topic  ./kafka-console-consumer.sh --zookeeper localhost:2181 --topic log_test --from-beginning
      • 消费topic   bin/kafka-console-consumer.sh --zookeeper 192.168.0.248:2181 --topic log_test --from-beginning
    • 安装logstash
      • wget https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz    tar -zxvf logstash-2.4.0.tar.gz
      • 配置
        • mkdir -p etc
        •  vim etc/www.lanmps.com.conf
          • input {
              file {
                        type => "nginx-access"
                        path => ["/var/log/nginx/access.log"]
                        start_position => "beginning"
                      }
            }
            output{
                        kafka{
                            topic_id => "log_test"
                            # kafka的地址
                            bootstrap_servers => "192.168.0.248:9092"
                            # 一定要注明输出格式
                           codec => "json"
                     }
            }


          • 启动logstash
          • nohup bin/logstash -f etc/test.conf &

        

  • 相关阅读:
    声明:此资源由本博客收集整理于网络,只用于交流学习,请勿用作它途。如有侵权,请联系, 删除处理。
    注入点归纳
    网站入侵思路
    关于网上的“人肉”里面的技巧,简单解释
    SQL注入复习
    自己构造注入点方便入侵
    SQL通常注射的一些介绍
    AWVS13破解版安装_Windows
    黑页
    显ipQQ
  • 原文地址:https://www.cnblogs.com/guxiaobei/p/8421237.html
Copyright © 2011-2022 走看看