zoukankan      html  css  js  c++  java
  • (1)ElasticSearch搭配Kibana在linux环境的部署

    1.简介

    这个章节主要介绍ElasticSearch+Kibana两个组件在linux环境的部署步骤,以及在部署过程中遇到问题解决,暂就不涉及集群部署知识点,后面章节再详细讲解这块。下面让我们来简单了解下Elasticsearch与Kibana。

    1.1Elasticsearch简介

    Elasticsearch是一个基于Lucene的搜索服务器,也是一个是一个分布式、高扩展、高实时的搜索与数据分析引擎。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。
    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。
    Elasticsearch+Logstash(数据收集日志解析引擎)+Kibana(分析和可视化平台)这三个产品被设计成一个集成解决方案,称为“Elastic Stack”(以前称为“ELK stack”)。
    Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。Elasticsearch是分布式的,这意味着索引可以被分成分片,每个分片可以有零个或多个副本。每个节点托管一个或多个分片,并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中,该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引,就不能更改主分片的数量。

    1.2Kibana简介

    Kibana是一个针对Elasticsearch而设计的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。
    Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示Elasticsearch查询动态。

    2.前期准备

    2.1下载elasticsearch组件

    到官网下载页https://www.elastic.co/cn/downloads/elasticsearch下载linux最新版本elasticsearch-7.8.0,如图所示:

    2.2下载kibana组件

    到官网下载页https://www.elastic.co/cn/downloads/kibana下载linux最新版本kibana-7.8.0,如图所示:

    2.3下载并安装Xshell 6+Xftp 6

    Xshell+Xftp下载安装使用,这里我就不多说了,度娘大把资料可以供大伙参考。下面简要解释下Xshell+Xftp用途:
    Xshell是一个功能强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows平台的TELNET协议。Xshell可以在Windows界面下用来访问远端不同系统下的服务器,从而达到远程控制终端的目的。所以下面我都会使用Xshell在Linux上编写脚本命令。
    Xftp是一个功能强大的sftp、ftp文件传输软件。使用了Xftp以后,Microsoft Windows用户能安全地在Unix/Linux和Windows PC之间传输文件。所以下面我都用Xftp做在Linux和Windows PC之间传输文件。

    3.Elasticsearch部署

    3.1创建安装包、Elasticsearch、kibana文件夹

    在用户目录下创建安装包、Elasticsearch、kibana这三个文件夹的目的是为了方便管理,默认目录是/home/deng,创建文件夹命令如下:

    //安装包文件夹
    mkdir /home/deng/installpackage
    //elasticsearch文件夹
    mkdir /home/deng/elasticsearch
    //kibana文件夹
    mkdir /home/deng/kibana

    执行完所有命令后,通过Xftp,我们会看到/home/deng目录下创建三个对应文件夹:

    如果想删除文件夹,具体命令如下:

    //删除文件夹
    rm -rf /home/deng/installpackage

    如果创建文件夹没操作权限,可以通过如下命令进行授权:

    //修改文件权限
    chmod -R 775 installpackage

    再通过Xftp把之前下载好的elasticsearch-7.8.0-linux-x86_64.tar.gz、kibana-7.8.0-linux-x86_64.tar.gz安装包传输到installpackage中:

    3.2解压Elasticsearch安装包

    先切换到elasticsearch文件夹目录:

    //切换elasticsearch文件夹
    cd /home/deng/elasticsearch

    把elasticsearch安装包解压到elasticsearch目录当中:

    //解压elasticsearch安装包
    tar -zxvf /home/deng/installpackage/elasticsearch-7.8.0-linux-x86_64.tar.gz

    3.3修改elasticsearch配置指定ES服务主机

    先切换到elasticsearch文件夹config目录:

    //切换elasticsearch/config文件夹
    cd /home/deng/elasticsearch/elasticsearch-7.8.0/config

    使用vi文本编辑器修改elasticsearch.yml配置文件:

    //vi文本编辑器打开elasticsearch.yml配置文件
    vi elasticsearch.yml

    输入修改命令:

    //i修改
    i

    找到文件中这两项配置,把前面的#符号删除开放出来并修改为如下内容:

    network.host: 192.168.112.xxx
    http.port: 9200

    修改完这两项配置之后,因为7.0以后版本还需要修改如下两个配置才能启动,所以找到这两项进行修改,如果bootstrap.system_call_filter属性没有就新增一行:

    bootstrap.memory_lock: false
    bootstrap.system_call_filter: false

    把上面四项配置修改后点击Esc按钮退出编辑,输入命令保存退出:

    //保存退出
    :wq

    3.4启动Elasticsearch服务

    注意:ES启动有可能会多次报错,需要我们根据错误信息重新修改下相关配置文件。

    3.4.1切换到bin目录启动Elasticsearch服务
    //进入bin目录
    cd /home/deng/elasticsearch/elasticsearch-7.8.0/bin
    //启动Elasticsearch服务或者后台启动模式
    ./elasticsearch
    or
    ./elasticsearch -d

    当我们启动Elasticsearch服务时候,可能会遇到如下错误提示。

    3.4.2root用户不能启动Elasticsearch服务
    //无法以root用户身份运行elasticsearch服务。
    org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

    根据上述错误提示,我们要创建一个用户进行启动Elasticsearch服务。而因为我安装linux版本CentOS 7时候已经新建一个用户deng,所以下面演示我就该用户进行部署操作,如果你们在安装过程中没有新建,就使用以下命令新建一个用户再启动Elasticsearch服务:

    //useradd 建立用户账号(默认在/home目录下)
    useradd deng
    //passwd设定账号的密码
    passwd 123456
    3.4.3虚拟内存过低
    //最大虚拟内存区域vm.max_map_count [65530]太低,至少增加到[262144]
    max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

    根据上述错误提示,我们需要修改下sysctl.conf系统配置文件,但是如果当前用户没有root修改系统文件权限,那么就得先su root用户再进行如下操作:

    vi /etc/sysctl.conf

    输入修改命令i,在空白处添加一行文本:

    vm.max_map_count=262144

    输入:wq保存退出后,再通过su deng切换回来,然后启动Elasticsearch服务。

    3.4.4elasticsearch进程的最大文件描述符太低与管理员最大线程数太低
    //elasticsearch进程的最大文件描述符[4096]太低,请至少增加到[65535]
    max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
    //用户[admin]的最大线程数[3818]太低,请至少增加到[4096]
    max number of threads [3818] for user [admin] is too low, increase to at least [4096]

    根据上述错误提示,还是跟之前操作一样,如果当前用户没有root修改系统文件权限,那么就得先su root用户再进行如下操作:

    vi /etc/security/limits.conf

    输入修改命令i,在空白处添加四行文本:

    * soft nofile 65535
    * hard nofile 65535
    * soft nproc 4096
    * hard nproc 4096

    输入:wq保存退出后,再通过su deng切换回来,然后启动Elasticsearch服务。

    3.4.5默认discovery设置不适合生产使用
    //默认discovery设置不适合生产使用;至少有一个[discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes]必须配置
    the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

    根据上述错误,输入命令进行如下操作:

    vi elasticsearch.yml

    输入修改命令i,找到文件中这项配置,把前面的#符号删除开放出来并修改为如下内容:

    cluster.initial_master_nodes: ["node-1"]

    输入:wq保存退出后启动Elasticsearch服务。

    3.4.6无法获取节点锁
    //无法获取节点锁
    java.lang.IllegalStateException: failed to obtain node locks

    这个错误原因是因为系统已经存在elasticsearch进程了,找出这个进程,把它kill掉重新启动就可以了,具体操作命令如下:

    //查看elasticsearch进程
    ps -ef | grep elasticsearch
    //kill进程ID,格式(kill -9 1111)
    kill -9 xxxx

    然后重新启动Elasticsearch服务。

    3.4.7Elasticsearch服务正常启动

    如果还不能访问,把linux系统防火墙关闭,操作防火墙命令如下:

    //查看防火状态
    systemctl status firewalld
    //暂时关闭防火墙
    systemctl stop firewalld
    //永久关闭防火墙
    systemctl disable firewalld
    //重启防火墙
    systemctl enable firewalld

    成功访问界面如下:

    4.Kibana部署

    因为之前已经创建好kibana文件夹,我们只需要把kibana安装包解压到对应文件夹中再启动服务就好了。

    4.1解压Kibana安装包

    先切换到kibana文件夹目录:

    //切换kibana文件夹
    cd /home/deng/kibana

    把kibana安装包解压到kibana目录当中:

    //解压kibana安装包
    tar -zxvf /home/deng/installpackage/kibana-7.8.0-linux-x86_64.tar.gz

    4.2修改kibana配置指定kibana服务主机

    先切换到kibana文件夹config目录:

    //切换kibana/config文件夹
    cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/config

    使用vi文本编辑器修改kibana.yml配置文件:

    //vi文本编辑器打开kibana.yml配置文件
    vi kibana.yml

    找到文件中这三项配置输入i修改,把前面的#符号删除开放出来并修改为如下内容:

    server.port: 5601
    server.host: "192.168.112.xxx"
    elasticsearch.host: "http://192.168.112.xxx:9200"

    如果需要修改为中文显示:

    i18n.locale: "zh-CN"

    再切换到kibana文件夹bin目录,启动kibana服务:

    //切换kibana/bin目录
    cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/bin
    //启动kibana服务
    ./kibana

    成功访问界面如下:

    5.Elasticsearch开启登录验证功能

    先停止Elasticsearch服务,配置X-Pack打开安全配置功能:

    //配置X-Pack打开安全配置功能
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true

    重启Elasticsearch服务,执行设置用户名和密码的命令,为elastic、kibana、logstash_system、beats_system四个用户分别设置密码:

    //切换elasticsearch/bin目录
    cd /home/deng/elasticsearch/elasticsearch-7.8.0/bin
    //执行设置用户名和密码的命令,为4个用户分别设置密码:elastic、kibana、logstash_system、beats_system
    ./elasticsearch-setup-passwords interactive

    如图所示:

    在浏览器上输入Elasticsearch链接地址会看到如下界面:

    输入帐号elastic跟设置的密码即可登录成功!
    Elasticsearch设置用户密码后,还需要在Kibana上设置对应的帐号跟密码,具体命令如下:

    //切换kibana/config目录
    cd /home/deng/kibana/kibana-7.8.0-linux-x86_64/config
    //设置Kibana登录帐号跟密码
    elasticsearch.username: "elastic"
    elasticsearch.password: "xxx"

    如图所示:

    然后开启Kibana服务,在浏览器上输入Kibana地址会看到如下界面:

    输入帐号elastic跟设置的密码即可登录成功!

    参考文献:
    Elasticsearch官网

  • 相关阅读:
    第二章 图像的显示
    c++ 使用PI
    c++函数写的都对,还是说incompatible或者not found的解决办法
    我理解的直方图均衡化
    解决360WiFi有时候手机连接不上
    c# 16进制byte转成int
    VS2010 代码突然改变字体 解决办法
    荣耀手机恢复那些“不再提示”的设置
    mfc视类中错误:IntelliSense: declaration is incompatible with。。。解决方案
    [原] Android 自定义View步骤
  • 原文地址:https://www.cnblogs.com/wzk153/p/13994803.html
Copyright © 2011-2022 走看看