centos6 搭建ELK

mark一下时间：2016年2月19日10:17:09

记录使用

Logstash: Logstash服务的组件，用于处理传入的日志。

Elasticsearch: 存储所有日志

Kibana 4: 用于搜索和可视化的日志的Web界面，通过nginx反代

环境：

2台机器都是centos6.5

ELK server：192.168.0.160

agent　　：192.168.0.82

ELKserver上需要安装：ES、kibana、logstash、Redis、nginx、jdk

agent端　　　　　　：jdk、logstash

（这里注意一点，服务器时间要同步，不然到后面kibana 不出图，找了半天原因都找不到，结果是系统时间没同步哦）

nginx和jdk安装就不讲了。这里我用的jdk为1.8.0_73

先下载ELK安装包。

wget https://download.elastic.co/kibana/kibana/kibana-4.4.1-linux-x64.tar.gz
wget http://nginx.org/download/nginx-1.8.1.tar.gz
wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.2.0/elasticsearch-2.2.0.rpm
wget http://download.redis.io/releases/redis-3.0.7.tar.gz
wget https://download.elastic.co/logstash/logstash/logstash-2.2.1.tar.gz

ELKserver上安装：

rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch    导入公钥
rpm -ivh elasticsearch-2.2.0.rpm    RPM方式安装，用tar也一样
rpm -ql elasticsearch        查询安装路径

vim /etc/elasticsearch/elasticsearch.yml 修改配置文件 （注意空格）

 

安装es插件head和kopf

/usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf
/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

保存并启动es

/etc/init.d/elasticsearch start

这个时候我们可以浏览head插件或者kopf插件。如下图

如果这个时候head界面没有logstash（前提是在agent端安装了logstash）的原因是因为agent的logstash没有传入数据给redis。so es也收不到redis output的并来自logstash的数据，当redis有数据之后，head就会显示logstash了。

es的插件可以在下图目录下查看

安装nginx

useradd www
./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module
make;make install

并将nginx配置文件修改成如下。 

将请求转给kibana。

安装kibana

tar zxf kibana-4.4.1-linux-x64.tar.gz
mv kibana-4.4.1-linux-x64 /usr/local/kibana

 启动kibana

nohup /usr/local/kibana/bin/kibana -l /var/log/kibana.log &

redis安装

请转至另一篇博文

安装logstash

tar zxf logstash-2.2.1.tar.gz
mv logstash-2.2.1 /usr/local/logstash
cd /usr/local/logstash
mkdir conf log

配置logstash文件

vim /usr/local/logstash/conf/logstash.conf

 如下

input {
  redis {
      host => "192.168.0.160"
      data_type => "list"
      port => "6379"
      key => "logstash:redis"
      type => "redis-input"
  }
}

output {
  elasticsearch {
      hosts => "192.168.0.160"
  }
}

 启动logstash　　（启动比较慢）

/usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash.conf &

===============================================agent端=========================================================

jdk环境

nginx日志格式

    log_format main '{"@timestamp":"$time_iso8601",'

               '"@version":"1",'

               '"host":"$server_addr",'

               '"client":"$remote_addr",'

               '"size":$body_bytes_sent,'

               '"responsetime":$request_time,'

               '"domain":"$host",'

               '"url":"$uri",'

               '"status":"$status"}';

    access_log  logs/access.log  main;

安装logstash和上面一样，只是配置文件不同。

vim /usr/local/logstash/conf/logstash_agent.conf


input {

 file {
    type => "nginx_access"
    path => "/usr/local/nginx/logs/access.log"　　　　#路径一定要写对哦- -之前进入kibana首页没有crate按钮就是因为 这里。还有redis monitor 没有数据。
  }

}

output {
  redis {
    host => "192.168.0.160"
    port => "6379"
    data_type => "list"
    key => "logstash:redis"
  }
}

 启动logstash

/usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash_agent.conf &

 这个时候用力刷nginx日志哦。

我们访问ELKserver

然后点击Create

查看图形点击discover

然后不停的刷新日志，（刷新才会出图哦，不然就是哭脸哟）等一段时间就会有绿色的柱状图。

至此ELK简单部署已OK　　　　有错误或者问题可以留言哦，多多指教

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　Author：V