ELK(Elasticsearch/Logstash/Kibana)安装时常见错误总结

问题一：

[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter:

Java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERcompiledinatorg.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.0.0.jar:5.0.0]

at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.0.0.jar:5.0.0]

 

原因：报了一大串错误，大家不必惊慌，其实只是一个警告，主要是因为你Linux版本过低造成的。

 

解决方案：

　　1、重新安装新版本的Linux系统

　　2、警告不影响使用，可以忽略

 

 

 

问题二：

ERROR: bootstrap checks failed

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

 

原因：无法创建本地文件问题,用户最大可创建文件数太小

 

解决方案：

　　切换到root用户，编辑limits.conf配置文件， 添加类似如下内容：

 

vi /etc/security/limits.conf

 

添加如下内容:

*  soft nofile 65536

 

* hard nofile 131072

 

* soft nproc 2048

 

* hard nproc 4096

备注：* 代表Linux所有用户名称（比如 hadoop）

 

　　保存、退出、重新登录才可生效。

 

 

 

 

问题三：

max number of threads [1024] for user [es] likely too low, increase to at least [2048]

原因：无法创建本地线程问题,用户最大可创建线程数太小

 

解决方案：切换到root用户，进入limits.d目录下，修改90-nproc.conf 配置文件。

 

vi /etc/security/limits.d/90-nproc.conf

 

找到如下内容：

 

* soft nproc 1024

 

#修改为

 

* soft nproc 2048

 

 

 

问题四：

max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

原因：最大虚拟内存太小

 

解决方案：切换到root用户下，修改配置文件sysctl.conf

 

vi /etc/sysctl.conf

 

添加下面配置：

 

vm.max_map_count=655360

 

并执行命令：

 

sysctl -p

 

然后重新启动elasticsearch，即可启动成功。

 

 

 

问题五：

ElasticSearch启动找不到主机或路由

原因：ElasticSearch 单播配置有问题

 

解决方案：

检查ElasticSearch中的配置文件

vi  config/elasticsearch.yml

找到如下配置：

 

discovery.zen.ping.unicast.hosts:["192.168.**.**:9300","192.168.**.**:9300"]

一般情况下，是这里配置有问题，注意书写格式

 

 

 

问题六：

org.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception response from stream

 

原因:ElasticSearch节点之间的jdk版本不一致

 

解决方案：ElasticSearch集群统一jdk环境

 

 

 

问题七：

Unsupported major.minor version 52.0

 

原因：jdk版本问题太低

 

解决方案：更换jdk版本，ElasticSearch5.0.0支持jdk1.8.0

 

 

 

问题八：

bin/elasticsearch-plugin install license

ERROR: Unknown plugin license

 

原因：ElasticSearch5.0.0以后插件命令已经改变

 

解决方案：使用最新命令安装所有插件

bin/elasticsearch-plugin install x-pack

问题九：

　　在Kibana里，安装marvel插件，

Error: unexpected eof
Plugin installation was unsuccessful due to error "Error extracting plugin archive"

 　　

解决方案：

　　（1）是因为，网速不好，修改下本地的DNS即可。重新执行

在线安装marvel插件命令 
　　bin/kibana plugin –install elasticsearch/marvel/latest 
离线安装marvel插件命令 
　　bin/kibana plugin –install marvel –url file:///home/hadoop/app/marvel-2.4.4.tar.gz  (注意，离线的话，注意跟着自己的路径）

　　（2）若实在还是不行的话，则尝试离线安装吧！

　　然后，再上传，我这里上传到/home/hadoop/app目录下

 

 　　然后，执行下面的命令，注意要根据你自己上传的目录。

[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ pwd
/home/hadoop/app/kibana-4.6.3-linux-x86_64
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ ll
total 48
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 bin
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 07:55 config
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 data
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 18:33 installedPlugins
-rw-rw-r--.  1 hadoop hadoop  562 Nov  4 23:24 LICENSE.txt
drwxrwxr-x.  6 hadoop hadoop 4096 Nov  4 23:24 node
drwxrwxr-x. 83 hadoop hadoop 4096 Nov  4 23:24 node_modules
drwxrwxr-x.  3 hadoop hadoop 4096 Nov  4 23:24 optimize
-rw-rw-r--.  1 hadoop hadoop  701 Nov  4 23:24 package.json
-rw-rw-r--.  1 hadoop hadoop 2322 Nov  4 23:24 README.txt
drwxrwxr-x.  8 hadoop hadoop 4096 Nov  4 23:24 src
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 webpackShims
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ cd installedPlugins/
[hadoop@HadoopMaster installedPlugins]$ ll
total 0
[hadoop@HadoopMaster installedPlugins]$ cd ..
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ bin/kibana plugin --install marvel --url file:///home/hadoop/app/marvel-2.4.4.tar.gz
Installing marvel
Attempting to transfer from file:///home/hadoop/app/marvel-2.4.4.tar.gz    （注意我这里是/home/hadoop/app/marvel-2.4.4.tar.gz）
Transferring 10162116 bytes....................
Transfer complete
Extracting plugin archive
Extraction complete
Optimizing and caching browser bundles...
Plugin installation complete
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ 

　　查看Kibana里是否安装marverl插件成功！

[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ pwd
/home/hadoop/app/kibana-4.6.3-linux-x86_64
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ ll
total 48
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 bin
drwxrwxr-x.  2 hadoop hadoop 4096 Mar 25 07:55 config
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 data
drwxrwxr-x.  3 hadoop hadoop 4096 Mar 25 18:49 installedPlugins
-rw-rw-r--.  1 hadoop hadoop  562 Nov  4 23:24 LICENSE.txt
drwxrwxr-x.  6 hadoop hadoop 4096 Nov  4 23:24 node
drwxrwxr-x. 83 hadoop hadoop 4096 Nov  4 23:24 node_modules
drwxrwxr-x.  3 hadoop hadoop 4096 Nov  4 23:24 optimize
-rw-rw-r--.  1 hadoop hadoop  701 Nov  4 23:24 package.json
-rw-rw-r--.  1 hadoop hadoop 2322 Nov  4 23:24 README.txt
drwxrwxr-x.  8 hadoop hadoop 4096 Nov  4 23:24 src
drwxrwxr-x.  2 hadoop hadoop 4096 Nov  4 23:24 webpackShims
[hadoop@HadoopMaster kibana-4.6.3-linux-x86_64]$ cd installedPlugins/
[hadoop@HadoopMaster installedPlugins]$ ll
total 4
drwxrwxr-x. 6 hadoop hadoop 4096 Mar 25 18:49 marvel
[hadoop@HadoopMaster installedPlugins]$ cd marvel/
[hadoop@HadoopMaster marvel]$ ll
total 88
-rw-rw-r--.   1 hadoop hadoop  2366 Dec 21 10:26 index.js
-rw-rw-r--.   1 hadoop hadoop 43681 Dec 21 10:26 LICENSE.txt
drwxrwxr-x. 486 hadoop hadoop 20480 Mar 25 18:48 node_modules
-rw-rw-r--.   1 hadoop hadoop   150 Dec 21 10:26 NOTICE.txt
-rw-rw-r--.   1 hadoop hadoop  1410 Jan  6 07:41 package.json
drwxrwxr-x.   8 hadoop hadoop  4096 Mar 25 18:48 public
drwxrwxr-x.   4 hadoop hadoop  4096 Mar 25 18:48 server
drwxrwxr-x.   2 hadoop hadoop  4096 Mar 25 18:48 webpackShims
[hadoop@HadoopMaster marvel]$ 

　　注意：在kibana中安装marvel 插件之后，如果之前已经启动kibana需要重启kibana。

　　问题十：启动kibana时一直卡在[listening] Server running at http://0.0.0.0:5601，界面打开什么都没有，出现

No Marvel Data Found (marvel error)？

[error][status][plugin:elasticsearch@1.0.0] Status changed from red to red - Service Unavailable？

[error][status][plugin:elasticsearch@1.0.0] Status changed from red to red - Elasticsearch is still initializing the kibana index.

 

 

 　　注意，若您是第一次进入kibana的话，则初次进入需要至少创建一个索引模板，这个是对应elasticsearch中的索引。

因为，kibana默认是没有es里的东西的。也可以见如下，默认是Logstash里的东西。

则如下。

　　解决办法

 首先，进入

http://192.168.80.10:5601/app/kibana

　　

 　　因为初次进入kibana需要至少创建一个索引模板，这个是对应elasticsearch中的索引。

　　具体怎么创建es里的索引，请移步先去看完我这篇博客，创建好es的索引再来吧！

Elasticsearch之curl创建索引

　 　要么，你也可以直接拿默认的，即Logstash，也可以但是，前提你得安装好Logstash，怎么安装，请移步

Logstash安装（图文详解）（多节点的ELK集群安装在一个节点就好）

　 然后，ok
继续

注意： 若您不是第一次进入kibana的话，则如下。

解决办法：

server.host: "192.168.80.10"    　　　　
server.port: 5601
elasticsearch.url: "http://192.168.80.10:9200"
kibana.index: ".kibana"


对于server.host，最好别0.0.0.0，不安全。不建议

 　  也有人说，用火狐浏览器和谷歌浏览器就能打开了，可以尝试一下！

　　也有人说， 一般是人为删除（比如在sense插件里执行删除命令）marvel数据，导致marvel采集出错（删除了半天数据，另外半天数据将无法正常采集），不能统计；对于这种情况，等第二天marvel就可以正常使用了。

　　也有可能是9300端口被占用，marvel默认使用9300端口；对于这种情况，找到9300端口占用进程，kill掉，重启kibana即可。

 　　修好后，先分别kill掉三台机器的es进程，然后开启es进程，再重新，比如我这里在HadoopMaster这台上开启kibana进程，即可。

得到，继续