ELK——ElasticSearch部署及介绍

ElasticSearch介绍

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:

• 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。
• 实时分析的分布式搜索引擎。
• 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。

基本概念

先说Elasticsearch的文件存储，Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用JSON作为文档序列化的格式，比如下面这条用户数据：

{
    "name" :     "test",
    "sex" :      "demo",
    "age" :      11,
    "birthDate": "2008/11/11",
    "about" :    "I have apple",
    "interests": [ "pen", "sleep" ]
}

用Mysql这样的数据库存储就会容易想到建立一张User表，有balabala的字段等，在Elasticsearch里这就是一个文档，当然这个文档会属于一个User的类型，各种各样的类型存在于一个索引当中。这里有一份简易的将Elasticsearch和关系型数据术语对照表:

关系数据库　　　　⇒ 　　数据库　　　　　　⇒　　表　　 　　　　⇒　　行　　　　　　　　　　⇒ 列(Columns)
Elasticsearch  ⇒ 　　索引(Index)　　　⇒　　类型(type)　　⇒　　文档(Docments)　　　⇒ 字段(Fields)  

一个 Elasticsearch 集群可以包含多个索引(数据库)，也就是说其中包含了很多类型(表)。这些类型中包含了很多的文档(行)，然后每个文档中又包含了很多的字段(列)。Elasticsearch的交互，可以使用Java API，也可以直接使用HTTP的Restful API方式，比如我们打算插入一条记录，可以简单发送一个HTTP的请求：

PUT /net/mont/test

{
    "name" :     "test",
    "sex" :      "demo",
    "age" :      11,
    "birthDate": "2008/11/11",
    "about" :    "I have apple",
    "interests": [ "pen", "sleep" ]
}

具体操作手册可以参见Elasticsearch权威指南

ElasticSearch安装指南（以下简称ES）

ElasticSearch安装环境:

使用系统版本	centos6.10
ES使用版本	7.2.0
java使用版本	1.8.0+

1.　java环境需求1.8以上的jdk安装，可yum安装或二进制安装

1.1　yum安装

yum -y install java-1.8.0-openjdk*

1.2　二进制安装需要下载jdk1.8二进制包，上传至服务器，且修改全局变量

mkdir -p /usr/java
tar xf "jdk二进制包名" -C /usr/java

1.3　修改全局变量/etc/profile

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_*（*安装包版本）
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME  PATH CLASSPATH

2.　ES安装部署（二进制包安装）

2.1　上传二进制包至服务器，解压

tar xf elasticsearch-7.2.0-linux-x86_64.tar.gz -C /usr/local

2.2　修改ES配置文件

vim /usr/local/elasticsearch-7.2.0/config/elasticsearch.yml

node.name: node-1
path.data：/database/es
path.logs：/logs/es
network.host: 192.168.1.130
http.port: 9200
#以下两行配置为集群配置，若为单机则写一个即可
discovery.seed_hosts: ["192.168.1.130","192.168.1.131"]
cluster.initial_master_nodes: ["node-1","node-2"]
#在文件最下方增加以下配置
http.cors.enabled: true
http.cors.allow-origin: "*"

2.3　创建es启动用户

useradd elasticsearch

echo "passwd" | passwd --stdin elasticsearch

2.4　es启动需要普通用户启动

mkdir -p /database/es /logs/es

chown -R elasticsearch.elasticsearch /usr/local/elasticsearch-7.2.0

chown -R elasticsearch.elasticsearch /database/es /logs/es

2.5　切换普通用户启动（启动报错，详情可参考4.　启动报错问题）

su elasticsearch
/usr/local/elasticsearch-7.2.0/bin/elasticsearch   #启动后观察输出是否存在报错
/usr/local/elasticsearch-7.2.0/bin/elasticsearch > /dev/null 2>&1 &   #无报错进行后台启动

2.6　页面输入192.168.1.130:9200，显示如下图即安装成功

 

3.　elasticsearch-head安装

安装包下载地址：https://github.com/mobz/elasticsearch-head

3.1　将下载的zip解压

unzip /opt/elasticsearch-head-master.zip

3.2　将解压的目录移动

mv /opt/elasticsearch-head-master /usr/local/elasticsearch-head

3.3　安装nodejs、npm、grunt

方法一：
yum install epel-release -y
yum install nodejs -y
mkdir -p /usr/local/node/   #创建目录
cd /usr/local/node/
wget https://npm.taobao.org/mirrors/node/v4.4.7/node-v4.4.7-linux-x64.tar.gz
tar xf node-v4.4.7-linux-x64.tar.gz
mv node-v4.4.7-linux-x64 node-v4.4.7
rm -rf node-v4.4.7-linux-x64.tar.gz
ln -s /usr/local/node/node-v4.4.7/bin/npm /usr/local/bin/npm
ln -s /usr/local/node/node-v4.4.7/bin/node /usr/local/bin/node
npm -v
npm install
npm install grunt --save   #elasticsearch-head目录下node_modules/grunt下如果没有grunt二进制程序，在执行

方法二：
curl --silent --location https://rpm.nodesource.com/setup_10.x | bash -
yum install -y nodejs
npm -v
node -v
#进入elasticsearch-head目录下执行
npm install
#elasticsearch-head目录下node_modules/grunt下如果没有grunt二进制程序，在执行
npm install grunt --save

3.4　修改配置文件

修改elasticsearch.yml文件，添加配置

http.cors.enabled: true
http.cors.allow-origin: "*"

修改/usr/local/elasticsearch-head/_site/app.js文件，如下图位置

修改Gruntfile.js文件，修改服务监听地址（增加hostname属性，将其值设置为'0.0.0.0’）　　　　　

                connect: {
                        server: {
                                options: {
                                        hostname: '0.0.0.0',
                                        port: 9100,
                                        base: '.',
                                        keepalive: true
                                }
                        }
                }

        });

启动服务（先启动ES再启动head插件）

npm run start
npm run start > /dev/null 2>&1 &

访问192.168.1.130:9300，启动成功后即可显示如下图

4.　启动报错问题

4.1　如出现上述报错，进行以下的报错处理

报错1：无法创建本地文件问题,用户最大可创建文件数太小

解决方案：切换到root用户，编辑limits.conf配置文件并添加类似如下内容，添加完成后退出用户重新登陆即可生效

vim /etc/security/limits.conf

*       soft    nofile  65536
*       hard    nofile  65536
*       soft    nproc   4096
*       hard    nproc   4096

报错2：无法创建本地线程问题,用户最大可创建线程数太小

解决方案：切换到root用户，进入limits.d目录下，修改90-nproc.conf 配置文件。
vim /etc/security/limits.d/90-nproc.conf

修改 * soft nproc 1024 为  * soft nproc 4096

报错3：最大虚拟内存太小

解决方案：切换到root用户下，修改配置文件sysctl.conf
vim /etc/sysctl.conf

添加下面配置：vm.max_map_count=655360
并执行命令：sysctl -p

报错4：Centos6不支持SecComp，而ES5.2.0默认bootstrap.system_call_filter为true

解决方案： 
禁用：在elasticsearch.yml中配置bootstrap.system_call_filter为false，注意要在Memory下面: 

bootstrap.memory_lock: false 
bootstrap.system_call_filter: false

报错5：

解决方案：

vim /usr/local/elasticsearch-7.2.0/config/elasticsearch.yml

#cluster.initial_master_nodes: ["node-1", "node-2"]   #在此行下插入
cluster.initial_master_nodes: ["node-1"]