02篇ELK日志系统——升级版集群之kibana和logstash的搭建整合

【

　　前言：01篇LK日志系统已经把es集群搭建好了，接下来02篇搭建kibana和logstash，并整合完成整个ELK日志系统的初步搭建。

】

　1、安装kibana

　　　　　3台服务器：

　　　　　　　　192.168.2.119　　（119服务器当做集群的主服务器）

　　　　　　　　192.168.2.115

　　　　　　　　192.168.2.116

　　　　　我在119服务器，也就是elasticsearch主节点机上安装kibana

　　　　

　　　　　把kibana的安装包放在/usr/local/dev/kibana/目录 下并解压如下：

　　　　 1.1、修改kibana的配置，内容如下：

#配置kibana的端口
server.port: 5601

#配置kibana监听的ip
server.host: 192.168.2.119

#配置es服务器的ip,如果是es集群，则配置该集群的主节点ip
elasticsearch.url: "http://192.168.2.119:9200"

#配置kibana的日志文件路径，不然默认的是messages文件夹里记录日志
logging.dest: /usr/local/dev/kibana/kibana-6.4.2-linux-x86_64/logs/kibana.log

 　　　　　

　　　　 1.2、配置完kibana.yml之后，就可以直接启动了，不过我要用service kibana start 命令启动，需要配置此服务命令，如下：

#使用service kibana start  命令来启动kibana服务  (跟昨天配置elasticsearch命令一样，logstash配置此命令也是如此)
cd /etc/init.d
touch kibana
chmod +x kibana

#打开kibana
vi kibana


#输入以下配置内容：

》》》》》》》》》》》》》》》》》》》》》》》》》》》

#!/bin/bash

# chkconfig: 2345 98 02
# description: kibana

KIBANA_HOME=/usr/local/dev/kibana/kibana-6.4.2-linux-x86_64
case $1 in
start) $KIBANA_HOME/bin/kibana &;;
*) echo "require start";;
esac

》》》》》》》》》》》》》》》》》》》》》》》》》》》

 　　　　1.3、使用service kibana start命令启动：

　　　　1.4、查看是否成功启动了kibana服务：

　　　　　kibana启动成功，浏览器输入192.168.2.119:5601，成功如下：

 

》》》kibana配置成功搞定》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》

　　　　　

2、安装logstash

　　2.1、接下来在115上安装logstash，我把logstash的安装包放在了/usr/local/dev/logstash/目录下，如下：

 　　

 　　2.2、logstash的配置，内容如下：

　　　　　　要先在logstash的config目录下，新建一个logback-elk.conf配置文件，应该我暂时用logback传输日志到logstash，所以就建了个logback-elk.conf的配置文件，命名随意。

　　　　　　（暂时还没玩透kafka，所以当前先不用kafka传输日志）

　　　　logback-elk.conf配置的内容如下：

input {
    tcp {  
        port => 9601  #logstash服务开启的端口号
        mode => "server"
        tags => ['tags']
        codec => json_lines    #解析方式为json格式打印
    }
}
output {
        elasticsearch {
                hosts => ["192.168.2.119:9200"]  #elasticsearch 主节点
                index =>"%{[appname]}-%{+YYYY.MM.dd}"　　#appname 为在springboot项目中配置logback时用到，指向项目名
        }
        stdout { codec => rubydebug}
}

 　　

　　　　2.3、检查logback-elk.conf的配置是否有错：出现Configuration OK说明内容配置没什么问题

　　

#进入logstash安装目录的bin目录中，使用下面命令检查

./logstash -f ../config/logback-elk.conf --config.test_and_exit


命令说明：
–path.settings 用于指定logstash的配置文件所在的目录
-f 指定需要被检测的配置文件的路径
–config.test_and_exit 指定检测完之后就退出，不然就会直接启动了

 　　　　

　　　　2.4、然后再配置logstash的命令启动：service logstash start

#使用service logstash start  命令来启动kibana服务  (跟昨天配置elasticsearch命令一样，logstash配置此命令也是如此)
cd /etc/init.d
touch logstash
chmod +x logstash

#打开logstash
vi logstash


#输入以下配置内容：

》》》》》》》》》》》》》》》》》》》》》》》》》》》

#!/bin/bash

# chkconfig: 2345 50 50
# description: logstash

#JAVA_HOME=/usr/local/dev/java/jdk1.8.0_141

LS_HOME=/usr/local/dev/logstash/logstash-6.4.2
case $1 in
start) $LS_HOME/bin/logstash -f $LS_HOME/config/logback-elk.conf &;;
*) echo "require start";;
esac

》》》》》》》》》》》》》》》》》》》》》》》》》》》

　　　　2.5、启动logstash服务：service logstash start

　　　　

　　　　　　可能会报错：

　　　　　　　　could not find java; set JAVA_HOME or ensure java is in PATH

　　　　　　解决办法：进入logstash的bin目录，打开logstash.lib.sh文件

　　　　　　

vi logstash.lib.sh


#在文件里加入JAVA_HOME的地址

JAVA_HOME="/usr/local/dev/java/jdk1.8.0_141"
export JAVA_HOME

　　　　

 　　　　

　　　　　　成功如下：发现没有打开ERROR的日志，然后再查看logstash服务进程是否开启

　　　　查看logstash的服务进程：ps -ef | grep logstash

 》》》》》》》到此logstash的安装和启动就完成了》》》》》》》》》》》》》》》》》》》》》》》》

　　　　　

 　　

　　　当3台服务器上的es集群启动、logstash服务启动、kibana服务启动，都完全启动成功，完美整合，浏览器打开kibana：192.168.2.119:5601，如下：kibana还没有整合配置x-Pack权限插件所以是不用登录的

　　　

搞完放牛去