ELK 安装与基本配置（一）

对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch、Logstash、Kibana技术栈的结合

主机名	IP	服务
node1	192.168.16.73	Elasticsearch、Kibana
node2	192.168.17.224	Elasticsearch、Kibana
node3	192.168.16.70	Logstash、服务及程序日志
node4	192.168.16.111	Logstash、Redis(消息队列)

本次采用集群安装，单台安装大同小异

一、安装

Elasticsearch、需要Java环境，所以直接使用yum安装。 最好用1.8版本（centos7）,centos 6.X版本可tar包安装

[root@node1]# java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

1、下载并安装GPG key

[root@node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

2、添加elasticsearch、logstash、kibana的yum仓库

# 添加elasticsearch/logstash/ kibana的yum仓库

[root@node1 ~]# cat /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

cat kibana.repo
[kibana-4.5]
name=Kibana repository for4.5.x packages
baseurl=http://packages.elastic.co/kibana/4.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

 

3、安装ElasticSearch

[root@node1 ~]# yum install -y elasticsearch
[root@node1 ~]# yum install -y kibana

4、yum安装需要配置limits

[root@node1 ~]# vim /etc/security/limits.conf
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

二、配置Elasticsearch(注，此处可能有坑，yml配置文件":"两边要有空格)

[root@node1 ~]# mkdir -p /data/es-data #创建es数据目录
[root@node1 ~]# chown -R elasticsearch.elasticsearch /data/es-data/ #授权
[root@node1 /]# grep '^[a-z]' /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluter #集群名称
node.name: linux-node1  #节点的名称
path.data: /data/es-data #数据存放路径
path.logs: /var/log/elasticsearch/  #日志存放日志
bootstrap.mlockall: true    #不使用swap分区,锁住内存
network.host: 192.168.16.73   #允许访问的IP（本机ip）
http.port: 9200  #elasticsearch访问端口
discovery.zen.ping.unicast.hosts: ["192.168.16.73","192.168.17.224"] #单播（配置一台即可，生产可以使用组播方式）

运行Elasticsearch

1.启动elasticsearch

systemctl daemon-reload
systemctl enable elasticsearch
[root@node1 ~]# systemctl start elasticsearch          ##centos7 启动方式

启动时如果提示：  Can't start up: not enough memory，有可能是java未用到1.8，还是用的1.5或者1.6

解决办法：

vi /etc/sysconfig/elasticsearch

将 JAVA_HOME=/root/jdk1.8.0_60 写到文件中保存后启动

service elasticsearch start    ####centos 6.x 启动方式

 

2.访问:elasticsearch_url: "http://192.168.16.73:9200/"     出现下面 json 串表示安装成功

{
  "name" : "linux-node1",
  "cluster_name" : "elk-cluter",
  "cluster_uuid" : "8Tw1Ko2PS6aJzSguT7kwig",
  "version" : {
    "number" : "2.4.1",
    "build_hash" : "c67dc32e24162035d18d6fe1e952c4cbcbe79d16",
    "build_timestamp" : "2016-09-27T18:57:55Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.2"
  },
  "tagline" : "You Know, for Search"
}

三、Elasticsearch插件

1.安装Elasticsearch集群管理插件

[root@node1 ~]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

访问head集群插件:http://ES_IP:9200/_plugin/head

 

 

 

2.安装Elasticsearch监控插件

[root@node1 plugins]# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf

访问kopf监控插件:http://ES_IP:9200/_plugin/kopf 

 

elasticsearch集群

1.node2配置一个与node1相同的节点，通过组播进行通信，会通过cluster进行查找，如果无法通过组播查询，修改成单播即可

[root@node2 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml
cluster.name: elk-cluter
node.name: linux-node2
path.data: /data/es-data
path.logs: /var/log/elasticsearch/
bootstrap.mlockall: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.16.73","192.168.17.224"] #单播（配置一台即可，生产可以使用组播方式）