ELK 是什么?
2018年07月04月 09:37:46
内容和简介
• Sina、饿了么、携程、华为、美团、freewheel、畅捷通 、新浪微博、大讲台、魅族、IBM...... 这些公司都在使用 ELK!ELK!ELK!
• ELK竟然重复了三遍,是个什么鬼?
ELK 是什么?
• ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写
– Elasticsearch:负责日志检索和储存
– Logstash:负责日志的收集和分析、处理
– Kibana:负责日志的可视化
– 这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为 ELK
l ELK 能做什么?
• ELK组件在海量日志系统的运维中,可用于解决:
– 分布式日志数据集中式查询和管理
– 系统监控,包含系统硬件和应用各个组件的监控
– 故障排查
– 安全信息和事件管理
– 报表功能
l Elasticsearch部分
• ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful API 的 web 接口。
• Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便
Elasticsearch部分
• 主要特点
– 实时分析
– 分布式实时文件存储,并将每一个字段都编入索引
– 文档导向,所有的对象全部是文档
– 高可用性,易扩展,支持集群(Cluster)、分片和复制(Shards 和 Replicas)
– 接口友好,支持 JSON
l Elasticsearch部分 《2续》
• ES 没有什么?
• Elasticsearch 没有典型意义的事务.
• Elasticsearch 是一种面向文档的数据库。
• Elasticsearch 没有提供授权和认证特性
l Elasticsearch部分 《3续》
• 相关概念:
– Node: 装有一个 ES 服务器的节点。
– Cluster: 有多个Node组成的集群
– Document: 一个可被搜素的基础信息单元
– Index: 拥有相似特征的文档的集合
– Type: 一个索引中可以定义一种或多种类型
– Filed: 是 ES 的最小单位,相当于数据的某一列
– Shards: 索引的分片,每一个分片就是一个 Shard
– Replicas: 索引的拷贝
l SQL 与 NOSQL
• ES 与关系型数据库的对比
Elasticsearch架构图
ES集群安装
• 安装第一台 ES 服务器
– 设置主机名称和 ip 对应关系
– 解决依赖关系
– 安装软件包
– 修改配置文件
– 启动服务
步骤 1
设置 ip 与主机名称对应关系
– 配置 /etc/hosts
192.168.4.11 node1
步骤 2
1.安装 JDK
– Elasticsearch 要求至少 Java 7
– 一般推荐使用 OpenJDK 1.8
– 配置好安装源以后,我们先解决依赖关系
yum install -y java-1.8.0-openjdk
2.验证
[root@esk01 ~]# java -version
openjdk version "1.8.0_131"
步骤 3
– 安装 ES
rpm –ivh elasticsearch-2.3.4-1.noarch
步骤 4
– 修改配置文件
– elasticsearch.yml
[root@esk01 ~]# vim /etc/elasticsearch/elasticsearch.yml
network.host: 0.0.0.0
步骤 5
1.修改本地解析hosts文件
192.168.1.11 esk01
192.168.1.32 esk02
192.168.1.33 esk03
192.168.1.34 esk04
192.168.1.35 esk05
拷贝
[root@esk01 ~]# scp /etc/hosts 192.168.1.35:/etc/hosts
2.启动服务,设置自启动
systemctl enable elasticsearch
systemctl start elasticsearch
– 验证:
[root@esk01 ~]# netstat -lnput | grep :9[2..3]00
– 能够看到 9200,9300 被监听
步骤 6
• 通过浏览器或 curl 访问 9200 端口
curl http://192.168.4.11:9200/
{
"name" : "node1",
"cluster_name" : "my-es",
"version" : {
"number" : "2.3.4",
...... ...... ......
"build_snapshot" : false,
"lucene_version" : "5.5.0"
},
"tagline" : "You Know, for Search“
}
步骤7
l ES 集群配置
– ES 集群配置也很简单,只需要对配置文件做少量的修
改即可,其他步骤和单机完全一致
– ES 集群配置文件
1.修改配置文件
[root@esk01 ~]# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-es //随便命名主机名
node.name: node1 //更改自已主机ip
network.host: 0.0.0.0 //所有ip匹配
discovery.zen.ping.unicast.hosts: ["node1", "node2",
"node3"]
2.拷贝配置文件模板到其他主机上
[root@esk01 ~]# scp /etc/elasticsearch/elasticsearch.yml
192.168.1.35:/etc/elasticsearch/elasticsearch.yml
3.重启服务
[root@esk01 ~]# systemctl start elasticsearch
[root@esk01 ~]# systemctl enable elasticsearch //先启动esk01/02/03
4.测试
http://192.168.1.33:9200/
http://192.168.1.35:9200/_cluster/health?pretty
l ES集群安装
• ES 集群配置
– 验证集群,使用 ES 内置字段 _cluster/health
curl http://192.168.4.11:9200/_cluster/health?pretty
{
"cluster_name" : "my-es",
"status" : "green",
...... ...... ......
"number_of_nodes" : 5,
"number_of_data_nodes" : 5,
...... ...... ......
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}ES集群安装
• ES 集群验证
– 返回字段解析
– status“ : ”green“ 集群状态,绿色为正常,黄色表
示有问题但不是很严重,红色表示严重故障
– “number_of_nodes” : 5, 表示集群中节点的数量
– "number_of_data_nodes" : 5,
– ...... ...... ......
– "task_max_waiting_in_queue_millis" : 0,
– "active_shards_percent_as_number" : 100.0
– }
l ES 集群验证
– 返回字段解析
– status“ : ”green“ 集群状态,绿色为正常,黄色表
ES插件的使用
• ES 常用插件
• head 插件:
– 它展现ES集群的拓扑结构,并且可以通过它来进行索引(Index)和节点(Node)级别的操作
– 它提供一组针对集群的查询API,并将结果以json和表格形式返回
– 它提供一些快捷菜单,用以展现集群的各种状态
http请求由三部分组成
– 分别是:请求行、消息报头、请求正文
– 请求行以一个方法符号开头,以空格分开,后面跟着请求的URI和协议的版本,格式如下:
Method Request-URI HTTP-Version CRLF
l HTTP 协议简介
• http请求方法
– 常用方法 GET, POST, HEAD
– 其他方法 OPTIONS, PUT, DELETE, TRACE 和
CONNECT
• ES 常用
– PUT
--- 增
– DELETE --- 删
– POST --- 改
– GET --- 查
系统命令 curl
• 在linux中curl是一个利用URL规则在命令行下工作的文件传输工具,可以说是一款很强大的http命令行工具。它支持多种请求模式,自定义请求 头等强大功能,是一款综合工具
• curl 常用参数介绍
– -A 修改请求 agent
– -X 设置请求方法
– -i 显示返回头信息
ES插件的使用
• ES 常用插件
• head 插件:
– 它展现ES集群的拓扑结构,并且可以通过它来进行索引(Index)和节点(Node)级别的操作
– 它提供一组针对集群的查询API,并将结果以json和表格形式返回
– 它提供一些快捷菜单,用以展现集群的各种状态ES插件的使用
• ES 常用插件
• kopf 插件
– 是一个ElasticSearch的管理工具
– 它提供了对ES集群操作的API
• bigdesk 插件
– 是elasticsearch的一个集群监控工具
– 可以通过它来查看es集群的各种状态,如:cpu、内存使用情况,索引数据、搜索情况,htt连接数等ES插件的使用
• ES 插件安装、查看
1.查看安装的插件
/usr/share/elasticsearch/bin/plugin list
2.安装插件
/usr/share/elasticsearch/bin/plugin install
ftp://192.168.4.254/
/usr/share/elasticsearch/bin/plugin install
/usr/share/elasticsearch/bin/plugin install
ftp://192.168.1.254/share/bigdesk-master.zip
– 这里必须使用 url 的方式进行安装,如果文件在本地,我们也需要使用 file:// 的方式指定路径,例如文件在/tmp/xxx 下面,我们要写成 file:///tmp/xxx 删除使用 remove 指令
3.访问
http://192.168.1.11:9200/_plugin/head/
http://192.168.1.11:9200/_plugin/kopf/
http://192.168.1.11:9200/_plugin/bigdesk/
4.查看集群api查询地址
curl http://192.168.1.11:9200/_cat
curl http://192.168.1.11:9200/_cat/nodes?v
curl http://192.168.1.11:9200/_cat/nodes?help
RESTful API 调用
• Elasticsearch提供了一系列RESTful的API
– 检查集群、节点、索引的健康度、状态和统计
– 管理集群、节点、索引的数据及元数据
– 对索引进行CRUD操作及查询操作
– 执行其他高级操作如分页、排序、过滤等
• POST 或 PUT 数据使用 json 格式RESTful API 调用
• json
– JSON的全称是”JavaScript Object Notation”,意思是JavaScript对象表示法,它是一种基于文本,独立于语言的轻量级数据交换格式。
– json 传输的就是一个字符串
– python 中对应的 字符串,列表,字典都可以转换成对应的 json 格式RESTful API 调用
• Rest API 的简单使用
– _cat API 查询集群状态,节点信息
– v 参数显示详细信息
http://192.168.4.15:9200/_cat/health?v
– help 显示帮助信息
http://192.168.4.15:9200/_cat/health?helpRESTful API 调用
• Rest API 的简单使用
– nodes 查询节点状态信息
http://192.168.4.15:9200/_cat/nodes?v
– 索引信息
http://192.168.4.15:9200/_cat/indices?v
RESTful API 调用
• RESTful API 增加
– 创建一个索引,并设置分片数量与副本数量
[root@esk01 ~]# curl -X "PUT" 'http://192.168.1.11:9200/tedu' -d '{
"settings":{
"index":{
"number_of_shards": 5,
"number_of_replicas":1
}
}
}'
• RESTful API 插入数据
curl -X "PUT" 'http://192.168.1.11:9200/tedu/teacher/1' -d '{
"title": "阶段1",
"name":{"first": "小逗比", "last": "牛犇"},
"age": 25
}'
curl -X "PUT" 'http://192.168.1.11:9200/tedu/teacher/2' -d '{
"title": "阶段2",
"name":{"first": "老逗比", "last": "丁丁"},
"age": 52
}'
RESTful API 调用
• 静静达内一枝花,今年20明年18
curl -X "POST" 'http://192.168.1.11:9200/tedu/teacher/3/_update' -d '{
"doc":{
"age": 18
}
}'
Kibana 安装
• kibana是什么
– 数据可视化平台工具
• 特点:
– 灵活的分析和可视化平台
– 实时总结和流数据的图表
– 为不同的用户显示直观的界面
– 即时分享和嵌入的仪表板
l Kibana 安装
• kibana安装
– kibana 的安装非常简单,我们使用 rpm 方式安装
rpm -ivh kibana-4.5.2-1.x86_64.rpm
– kibana 默认安装在 /opt/kibana 下面,配置文件在/opt/kibana/config/kibana.yml
– 我们只需要修改少量的配置就可以启动
l Kibana 安装
• kibana.yml 的配置
– server.port: 5601
– server.host: "0.0.0.0"
– elasticsearch.url: "http://192.168.4.13:9200"
– kibana.index: ".kibana"
– kibana.defaultAppId: "discover"
– elasticsearch.pingTimeout: 1500
– elasticsearch.requestTimeout: 30000
– elasticsearch.startupTimeout: 5000
l Kibana 安装
• kibana.yml 的配置
– 除 elasticsearch.url 需要配置为我们 ES 集群的地址之外,其他保持默认值就可以了
– 设置开机启动
systemctl enable kibana
– 启动服务
systemctl start kibana
– web 访问 kibana
l Kibana 安装
• kibana是什么
– 数据可视化平台工具
• 特点:
– 灵活的分析和可视化平台
– 实时总结和流数据的图表
– 为不同的用户显示直观的界面
– 即时分享和嵌入的仪表板Kibana 安装
• kibana安装
– kibana 的安装非常简单,我们使用 rpm 方式安装
rpm –ivh kibana-4.5.2-1.x86_64.rpm
– kibana 默认安装在 /opt/kibana 下面,配置文件在/opt/kibana/config/kibana.yml
– 我们只需要修改少量的配置就可以启动Kibana 安装
• kibana.yml 的配置
– server.port: 5601
– server.host: "0.0.0.0"
– elasticsearch.url: "http://192.168.4.13:9200"
– kibana.index: ".kibana"
– kibana.defaultAppId: "discover"
– elasticsearch.pingTimeout: 1500
– elasticsearch.requestTimeout: 30000
– elasticsearch.startupTimeout: 5000Kibana 安装
• kibana.yml 的配置
– 除 elasticsearch.url 需要配置为我们 ES 集群的地址之外,其他保持默认值就可以了
– 设置开机启动
systemctl enable kibana
– 启动服务
systemctl start kibana
– web 访问 kibana
http://192.168.4.20:5601/课堂练习