zoukankan      html  css  js  c++  java
  • 大数据时代日志分析平台ELK的搭建

    A,首先说说ELK是啥,  ELK是ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。Logstash是数据源,ElasticSearch是分析数据的,Kiabana是展示数据用的

    B,开始搞

      1,安装 Logstash 依赖包 JDK

         wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz
       要是没有wget可以yum -y install wget安装一下wget,有的机子是没有安装的

       JDK 的安装方式比较简单,只需将下载回来的程序包解压到相应的目录即可。

        mkdir /usr/local/java
        tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

          设置 JDK 的环境变量,如下:

      tail -3 ~/.bash_profile
      export JAVA_HOME=/usr/local/java/jdk1.8.0_45
      export PATH=$PATH:$JAVA_HOME/bin
      exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
    然后就可以java 或者javac试试JDK有没有安装成功
    (1)安装 Logstash
      下载  
      wget https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz
      解压
      tar -zxf logstash-1.5.2.tar.gz -C /usr/local/
      启动,-e是说明以参数形式启动
      /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
      2,安装Elastic search
    下载,解压完成安装
        tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/
      接下来我们在 logstash 安装目录下创建一个用于测试 logstash 使用 elasticsearch 作为 logstash 的后端的测试文件 logstash-es-simple.conf,
      该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。
      cat logstash-es-simple.conf
      input { stdin { } } output { elasticsearch {hosts => "localhost" } stdout { codec=> rubydebug } }
      一定要注意上面的是hosts而不是host国内的都死host然后我搞了半天谷歌后才发现少了个s
      启动logstash
      /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf

      然后会看到系统打印
      Logstash startup completed
      hello logstash { "message" => "hello logstash", "@version" => "1", "@timestamp" => "2015-07-15T18:12:00.450Z", "host" => "noc.vfast.com" }
      可以使用curl指令查看ES有没有收到数据curl 'http://localhost:9200/_search?pretty'
      3,安装Kibana
      下载后解压到对应的文件夹
      tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
      启动

      /usr/local/kibana-4.1.1-linux-x64/bin/kibana
      使用 http://kibanaServerIP : 5601 访问 Kibana ,登录后,首先,配置一个索引,默认, Kibana 的数据被指向 Elasticsearch ,使用默认的 logstash-* 的索引名称,并且是基于时间的,点击“ Create ”即可
      然后就说明基本的已经部署完成了
      但是如果需要显示一些系统信息或者收集系统的日志信息还需要很多配置
      欲知后事如何,请继续关注





     
     
  • 相关阅读:
    微信小程序登入实现
    CacheLab实验--深入了解计算机系统实验
    power designer的物理数据模型生成数据字典。
    PowerDesigner15在生成SQL时报错Generation aborted due to errors detected during the verification of the mo
    Mac系统下,如何申请并安装教育版Navicat
    Mac下修改Mysql密码
    数组
    AbstractList源码阅读
    List源码阅读笔记
    AbstractCollection源码阅读笔记
  • 原文地址:https://www.cnblogs.com/chao538/p/5730210.html
Copyright © 2011-2022 走看看