zoukankan      html  css  js  c++  java

  • Elasticsearch集群+kibana

    目录：

    一、软件及环境准备

    服务器环境

    CentOS6.9_64位两台

    es-master:192.168.1.11

    es-slave:192.168.1.12

    注意：内存允许的情况下，稍微给大一点内存，否则启动会失败，本地测试可以使用1.5-2G内存，

    ES软件

    最新版ElasticSearch7.3.1

    下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.1-linux-x86_64.tar.gz

    es-master包括一个节点：elasticesearch-node1

    es-slave包括一个节点：elasticesearch-node2

    修改服务器主机名称，方便后续操作

    （1）服务器192.168.1.11上操作：

     
    1
    2
    3
    4
    5
    6
    [root@localhost ~]# hostname es-master
    [root@localhost ~]# vim /etc/sysconfig/network
    #修改以下内容：
    HOSTNAME=es-master
    #退出重新登录
    [root@localhost ~]# logout

    （2）服务器192.168.1.12上操作：

     
    1
    2
    3
    4
    5
    6
    [root@localhost ~]# hostname es-slave
    [root@localhost ~]# vim /etc/sysconfig/network
    #修改以下内容：
    HOSTNAME=es-slave
    #退出重新登录
    [root@localhost ~]# logout

    （3）为了后续操作方便，分别关闭es-master和es-slave服务器的防火墙

     
    1
    2
    [root@es-master ~]# service iptables stop
    [root@es-slave ~]# service iptables stop

    注意：生产环境不能直接关防火墙，可以添加防火墙规则，使得ES的tcp端口对远程指定主机开放。

    二、JDK安装配置及系统优化

    　　jdk安装忽略(2台)，可参照：https://www.cnblogs.com/zhangan/p/10901192.html

    　　系统优化可以参照内核优化脚本来执行：https://www.cnblogs.com/zhangan/p/10956138.html#x3

    特别提醒：

    Elasticsearch-7版本最低支持jdk版本为JDK1.11

    Elasticsearch-7.3该版本内置了JDK，而内置的JDK是当前推荐的JDK版本。当然如果你本地配置了JAVA_HOME那么ES就是优先使用配置的JDK启动ES。（言外之意，你不安装JDK一样可以启动，我试了可以的。）
    ES推荐使用LTS版本的JDK（这里只是推荐，JDK8就不支持），如果你使用了一些不支持的JDK版本，ES会拒绝启动。

    由于我们日常的代码开发都是使用的JDK1.8，而且可能JAVA_HOME配置成JDK1.8，那么解决方法我们只需更改Elasticsearch的启动文件，使它指向Elasticsearch-7.3该版本内置了JDK，或者也可以参照jdk安装文档升级jdk高版本

    修改启动配置文件
    [root@localhost bin]# pwd
    /data/elasticsearch/bin
    [root@localhost bin]# vi elasticsearch

    #配置es自带的jdk路径
export JAVA_HOME=/data/elasticsearch1/jdk
export PATH=$JAVA_HOME/bin:$PATH


#添加jdk判断
if [ -x "$JAVA_HOME/bin/java" ]; then
        JAVA="/data/elasticsearch1/jdk/bin/java"
else
        JAVA=`which java`
fi

    三、ElasticSearch安装及配置

    es-master上的操作如下：

    下载及解压ElasticSearch7.3.1

     
    1
    2
    3
    4
    5
    6
    [root@es-master ~]# cd /home/software/
    [root@es-master ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.1-linux-x86_64.tar.gz
    [root@es-master software]# tar xf elasticsearch-7.3.1.tar.gz -C /usr/local/
    [root@es-master local]# mv elasticsearch-7.3.1 elasticsearch-node1/

    创建elk用户，并将elasticsearch-node1和elasticsearch-node3授权给elk

    注意：由于elasticsearch启动的时候不能直接用root用户启动，所以需要创建普通用户

     
    1
    2
    [root@es-master local]# useradd elk
    [root@es-master local]# chown -R elk:elk elasticsearch-node1/ 

    分别创建两个elasticsearch节点的数据目录和日志目录

     
    1
    2
    [root@es-master local]# mkdir -pv /data/elasticsearch1/{data,logs}
    [root@es-master local]# chown -R elk:elk /data/elasticsearch1

    修改操作系统的内核配置文件sysctl.conf(2台) 

    [root@es-master local]# vim /etc/sysctl.conf
#在配置文件最后面添加如下内容
vm.zone_reclaim_mode=0
vm.max_map_count=262144
vm.swappiness=1

    解释：max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量。虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中，每当程序尝试在内存中映射文件，链接到共享内存段，或者分配堆空间的时候，这些区域将被创建。当进程达到了VMA上线但又只能释放少量的内存给其他的内核进程使用时，操作系统会抛出内存不足的错误。

    swappiness，Linux内核参数，控制换出运行时内存的相对权重。swappiness参数值可设置范围在0到100之间。 低参数值会让内核尽量少用交换，更高参数值会使内核更多的去使用交换空间。默认值为60，对于大多数操作系统，设置为100可能会影响整体性能，而设置为更低值（甚至为0）则可能减少响应延迟。

    vm.swappiness=1；进行最少量的交换，而不禁用交换。如果设置为 0 的话，则等同于禁用 swap

     
    1
    2
    #使修改之后的配置文件生效
    [root@es-master local]# sysctl -p

    修改elasticsearch-node1节点的配置文件jvm.options

     
    1
    2
    [root@es-master local]# cd elasticsearch-node1/config/
    [root@es-master config]# vim jvm.options

    修改如下两个选项：

    • -Xms512m  #elasticsearch启动时jvm所分配的初始堆内存大小
    • -Xmx512m  #elasticsearch启动之后允许jvm分配的最大堆内存大小，生产环境中可能需要调大

    注意：如果内存足够大，可以不用修改，默认为1G，最好不要超过内存的50%

    修改elasticsearch-node1节点的配置文件elasticsearch.yml

    [root@es-master local]# vim elasticsearch-node1/config/elasticsearch.yml
#修改以下项
#表示集群标识，同一个集群中的多个节点使用相同的标识
cluster.name: elasticsearch
#节点名称
node.name: "es-node1"
#数据存储目录
path.data: /data/elasticsearch1/data
#日志目录
path.logs: /data/elasticsearch1/logs
#节点所绑定的IP地址，并且该节点会被通知到集群中的其他节点
network.host: 192.168.1.11
#绑定监听的网络接口，监听传入的请求，可以设置为IP地址或者主机名
network.bind_host: 192.168.1.11
#发布地址，用于通知集群中的其他节点，和其他节点通讯，不设置的话默认可以自动设置。必须是一个存在的IP地址
network.publish_host: 192.168.1.11
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["192.168.1.11"]
#集群通信端口
transport.tcp.port: 9300
#对外提供服务的http端口，默认为9200
http.port: 9200
#集群中主节点的初始列表，当主节点启动时会使用这个列表进行非主节点的监测
discovery.zen.ping.unicast.hosts: ["192.168.1.11:9300","192.168.1.12:9300"]
#下面这个参数控制的是，一个节点需要看到的具有master节点资格的最小数量，然后才能在集群中做操作。官方推荐值是(N/2)+1；
#其中N是具有master资格的节点的数量（我们的情况是2，因此这个参数设置为1)
#但是：但对于只有2个节点的情况，设置为2就有些问题了，一个节点DOWN掉后，肯定连不上2台服务器了，这点需要注意
discovery.zen.minimum_master_nodes: 1
#集群ping过程的超时
discovery.zen.ping_timeout: 120s
#客户端连接超时
client.transport.ping_timeout: 60s
#cache缓存大小，10%（默认），可设置成百分比，也可设置成具体值，如256mb。
indices.queries.cache.size: 20%
#索引期间的内存缓存，有利于索引吞吐量的增加。
indices.memory.index_buffer_size: 30%
#开启了内存地址锁定，为了避免内存交换提高性能。但是Centos6不支持SecComp功能，启动会报错，所以需要将其设置为false
bootstrap.memory_lock: true
bootstrap.system_call_filter: false
#设置该节点是否具有成为主节点的资格以及是否存储数据。
node.master: true
node.data: true
#ElasticSearch 更改search线程池，search 线程设置过小导致程序崩溃
thread_pool.search.queue_size: 1000
#queue_size允许控制没有线程执行它们的挂起请求队列的初始大小。
thread_pool.search.size: 200
#size参数控制线程数，默认为核心数乘以5。
thread_pool.search.min_queue_size: 10
#min_queue_size设置控制queue_size可以调整到的最小量。
thread_pool.search.max_queue_size: 1000
#max_queue_size设置控制queue_size可以调整到的最大量。
thread_pool.search.auto_queue_frame_size: 2000
#auto_queue_frame_size设置控制在调整队列之前进行测量的操作数。它应该足够大，以便单个操作不会过度偏向计算。
thread_pool.search.target_response_time: 6s
#target_response_time是时间值设置，指示线程池队列中任务的目标平均响应时间。如果任务通常超过此时间，则将调低线程池队列以拒绝任务。

    　

    es-slave上的操作如下：

    上传elasticsearch的安装包，然后解压重命名，可以直接从es-master上远程拉取

     
    1
    2
    3
    [root@es-slave ~]# cd /home/software/
    [root@es-slave software]# scp 192.168.1.11:/home/software/elasticsearch-7.3.1.tar.gz ./
    [root@es-slave software]# tar xf elasticsearch-7.3.1.tar.gz -C /usr/local/

    创建elk用户，并将elasticsearch-node2授权给elk

     
    1
    2
    [root@es-slave local]# useradd elk
    [root@es-slave local]# chown -R elk:elk elasticsearch-node2

    创建数据目录，并将目录的属主和属组改为elk用户，elk组

     
    1
    2
    [root@es-slave local]# mkdir -pv /data/elasticsearch2/{data,logs}
    [root@es-slave local]# chown -R elk:elk /data/elasticsearch2
     

    修改elasticsearch-node2节点的配置文件jvm.options

     
    1
    2
    [root@es-slave local]# cd elasticsearch-node2/config/
    [root@es-slave config]# vim jvm.options

    修改如下两个选项：

    • -Xms512m
    • -Xmx512m

    修改elasticsearch-node2节点的配置文件elasticsearch.yml

    [root@es-master local]# vim elasticsearch-node3/config/elasticsearch.yml
#修改以下项
cluster.name: elasticsearch
node.name: "es-node2"
path.data: /data/elasticsearch2/data
path.logs: /data/elasticsearch2/logs
network.host: 192.168.1.12
network.bind_host: 192.168.1.12
network.publish_host: 192.168.1.12
#节点间的通信端口，接收单值或者一个范围。如果不指定一个范围，该节点将会绑定范围的第一个可用顶点
cluster.initial_master_nodes: ["192.168.1.11"]
transport.tcp.port: 9300
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.1.11:9300","192.168.1.12:9300"]
discovery.zen.minimum_master_nodes: 1
discovery.zen.ping_timeout: 120s
client.transport.ping_timeout: 60s
indices.queries.cache.size: 20%
indices.memory.index_buffer_size: 30%
bootstrap.memory_lock: true
bootstrap.system_call_filter: false　　
node.master: true
node.data: true
thread_pool.search.queue_size: 1000
thread_pool.search.size: 200
thread_pool.search.min_queue_size: 10
thread_pool.search.max_queue_size: 1000
thread_pool.search.auto_queue_frame_size: 2000
thread_pool.search.target_response_time: 6s　

    至此es-slave上的elasticsearch节点配置 

    五、启动ES集群

    首先切换为elk用户，并启动es-slave服务器上的elasticsearch-node2节点

     
    1
    2
    3
    [root@es-slave local]# su - elk
    [elk@es-slave ~]$ cd /usr/local/elasticsearch-node2/bin/
    [elk@es-slave bin]$ ./elasticsearch -d

    注意：-d参数表示以后台进程启动，默认情况下会在控制台输出日志。

    查看是否启动成功，可以通过查看进程及端口来确定是否启动成功，如果启动失败，可以通过查看日志来排查原因

     
    1
    2
    [elk@es-slave bin]$ ps -ef| grep elasticsearch
    [elk@es-slave bin]$ lsof -i:9200

    注意：日志文件在elasticsearch.yml配置文件中所指定的目录下

    测试是否可以访问

     
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    [elk@es-slave ~]$ curl 192.168.1.12:9200
    如果返回类似如下结果，表示启动正常：
    {
     "name" : "es-node2",
     "cluster_name" : "elasticsearch",
     "cluster_uuid" : "gczyFNKrTe2YbEQmlg7-nw",
     "version" : {
      ...
     },
     "tagline" : "You Know, for Search"
    }

    切换到es-master服务器上，然后切换到elk身份，分别启动elasticSearch-node1节点和elasticsearch-node3节点

     
    1
    2
    3
     
     
    [root@es-master ~]# su - elk
    [elk@es-master ~]$ cd /usr/local/elasticsearch-node1/bin/
    [elk@es-master bin]$ ./elasticsearch -d

    查看进程及端口，确定是否启动成功

     
    1
    2
    3
    4
    5
     
     
    #查看进程，可以看到有两个节点的进程
    [elk@es-master bin]$ ps -ef| grep elasticsearch
    [elk@es-master bin]$ lsof -i:9200
    使用curl测试节点是否可以正常访问，方法同上，需要验证elasticsearch-node1
    [elk@es-master ~]$ curl 192.168.1.11:9200
     

    验证完毕之后，ES集群就启动完毕。

    六丶es常规操作

    检查三个节点的情况：
    发现是GREEN的绿色健康状态，说明备份被分配完成，可用集群配置完成。

    查看状态

    curl "http://127.0.0.1:9200/_status?pretty=true"

    查看集群健康

    curl "http://127.0.0.1:9200/_cat/health?v"

    列出集群索引

    curl "http://127.0.0.1:9200/_cat/indices?"

    删除索引

    curl -XDELETEE "http://127.0.0.1:9200/logstash-2015.10.28"

    优化索引

    curl -XPOST "http://127.0.0.1:9200/logstash-2015.10.28/_optimize"

    curl -XGET 'http://localhost:9200/logstash-2015.10.28/_search?pretty=true' -d '

    {

        "query" : {

            "matchAll" : {}

        }

    }'

    修改集群分片数，默认只允许1000个分片，不免后期分片数不足丢失数据

    curl -XPUT 'ip:9200/_cluster/settings'  -H "Content-Type: application/json" -d '{"transient":{"cluster":{"max_shards_per_node":10000}}}'

      

    七、安装及配置ES前端图形化操作工具

    下载kibana，并上传到es-master服务器上

    下载地址：https://artifacts.elastic.co/downloads/kibana/kibana-7.3.1-linux-x86_64.tar.gz 

    解压，重命名

     
    1
    2
    3
    4
    [root@es-master software]# wget https://artifacts.elastic.co/downloads/kibana/kibana-7.3.1-linux-x86_64.tar.gz 
    [root@es-master software]# tar xf kibana-7.3.1-linux-x86_64.tar.gz -C /usr/local
    [root@es-master software]# cd /usr/local
    [root@es-master local]# mv kibana-7.3.1-linux-x86_64 kibana-7.3.1

    修改kibana的配置文件kibana.yml

    [root@es-master local]# cd kibana-7.3.1/config
[root@es-master config]# vim kibana.yml
#修改如下内容：
#对外服务监听端口
server.port: 5601
#绑定可以访问5601端口服务的IP地址，0.0.0.0表示任何地址在没有防火墙限制的情况下都可以访问，生产环境别这样设置，不安全。
server.host: "0.0.0.0"
#默认值为主机名称，表示kibana实例绑定的主机，可以是IP地址或者主机名称.
server.name: "192.168.1.11"
#用来处理ES请求的服务URL
elasticsearch.hosts: ["http://192.168.1.11:9200","http://192.168.1.12:9200"]
#用来控制证书的认证，可选的值为full，none，certificate。此处由于没有证书，所以设置为null，否则启动会提示错误.
elasticsearch.ssl.verificationMode: none
#kibana搜索数据请求超时时间
elasticsearch.requestTimeout: 90000　　

    启动kibana

     
    1
    2
    3
    4
    5
    [root@es-master config]# cd /usr/local/kibana-7.3.1/bin
    #以后台进程启动，kibana默认是控制台方式启动，Ctrl+C就会退出
    [root@es-master bin]# nohup ./kibana &
    #查看日志是否启动正常
    [root@es-master bin]# tail -f nohup.out

    如果启动正常，在浏览器端访问http://192.168.1.11:5601，即可看到图形化操作工具

    八丶kibana汉化及时区修改：

    vi kibana.yml

    i18n.locale: "zh-CN"

    时区修改步骤：

    进入kibana界面-》管理-》高级设置-》设置日期格式的时区

    默认：Browser

    可修改为：Asia/Shanghai

     

    九、ElasticSearch和kibana的停止

    目前es和kibana的bin目录下未提供停止ES服务和kibana服务的脚本，可以使用kill -9 pid来停止服务

    停止ES服务

     
    1
    2
    [root@es-master bin]# ps -ef| grep elasticsearch | grep -v grep | awk '{print $2}'
    [root@es-master bin]# kill -9 pid[上一步所输出的pid]

    停止Kibana服务

     
    1
    2
    [root@es-master bin]# ps -ef| grep node | grep -v grep | grep -v elasticsearch | awk '{print $2}'
    [root@es-master bin]# kill -9 pid[上一步所输出的pid]

     

     

     
  • 相关阅读:
    WINCE/WM5.0如何让安装完后自动运行程序
    Android 图片透明度处理代码
    windows mobile UI 自定义开始菜单图标
    Windows mobile 6捕获键盘操作
    HTTP的post和get总结
    提供一个Windows mobile Native UI 程序，循序渐进开发，并附有代码！
    Windows Mobile 中ComboBox【下拉列表】的使用
    注册表修改今日桌面左右软键的功能
    .net compact framework 注册表操作
    两种实现Toast 的例子（图片&文字）
  • 原文地址：https://www.cnblogs.com/zhangan/p/10998894.html
Copyright © 2011-2022 走看看