zoukankan      html  css  js  c++  java
  • 大数据时代日志分析平台ELK的搭建

    A,首先说说ELK是啥,  ELK是ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。Logstash是数据源,ElasticSearch是分析数据的,Kiabana是展示数据用的

    B,开始搞

      1,安装 Logstash 依赖包 JDK

         wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
       要是没有wget可以yum -y install wget安装一下wget,有的机子是没有安装的

       JDK 的安装方式比较简单,只需将下载回来的程序包解压到相应的目录即可。

        mkdir /usr/local/java
        tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

          设置 JDK 的环境变量,如下:

      tail -3 ~/.bash_profile
      export JAVA_HOME=/usr/local/java/jdk1.8.0_45
      export PATH=$PATH:$JAVA_HOME/bin
      exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
    然后就可以java 或者javac试试JDK有没有安装成功
    (1)安装 Logstash
      下载  
      wget https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
      解压
      tar -zxf logstash-1.5.2.tar.gz -C /usr/local/
      启动,-e是说明以参数形式启动
      /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
      2,安装Elastic search
    下载,解压完成安装
        tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/
      接下来我们在 logstash 安装目录下创建一个用于测试 logstash 使用 elasticsearch 作为 logstash 的后端的测试文件 logstash-es-simple.conf,
      该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。
      cat logstash-es-simple.conf
      input { stdin { } } output { elasticsearch {hosts => "localhost" } stdout { codec=> rubydebug } }
      一定要注意上面的是hosts而不是host国内的都死host然后我搞了半天谷歌后才发现少了个s
      启动logstash
      /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf

      然后会看到系统打印
      Logstash startup completed
      hello logstash { "message" => "hello logstash", "@version" => "1", "@timestamp" => "2015-07-15T18:12:00.450Z", "host" => "noc.vfast.com" }
      可以使用curl指令查看ES有没有收到数据curl 'http://localhost:9200/_search?pretty'
      3,安装Kibana
      下载后解压到对应的文件夹
      tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
      启动

      /usr/local/kibana-4.1.1-linux-x64/bin/kibana
      使用 http://kibanaServerIP : 5601 访问 Kibana ,登录后,首先,配置一个索引,默认, Kibana 的数据被指向 Elasticsearch ,使用默认的 logstash-* 的索引名称,并且是基于时间的,点击“ Create ”即可
      然后就说明基本的已经部署完成了
      但是如果需要显示一些系统信息或者收集系统的日志信息还需要很多配置
      欲知后事如何,请继续关注





     
     
  • 相关阅读:
    windows系统切换jdk,修改java_home无效情况
    Cannot instantiate interface org.springframework.context.ApplicationListener
    MySQL分组查询获取每个学生前n条分数记录(分组查询前n条记录)
    ASP.NET Web API 使用Swagger生成在线帮助测试文档,支持多个GET
    EF TO MYSQL 无法查询中文的解决方法
    HttpWebRequest post请求获取webservice void数据信息
    This implementation is not part of the Windows Platform FIPS validated cryptographic algorithms. 此实现不是 Windows 平台 FIPS 验证的加密算法的一部分 解决方案
    MySQL 5.7.13解压版安装记录 mysql无法启动教程
    C# udpclient 发送数据断网后自动连接的方法
    汽车XX网站秒杀抢购代码
  • 原文地址:https://www.cnblogs.com/chao538/p/5730210.html
Copyright © 2011-2022 走看看