记录es学习应用的过程和相关总结。2015年左右自己摸索应用在产线应用日志收集分析、报警。
整理的分享大纲如上图。
部署架构
https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html
基础概念模型
index 索引–数据库
Primary-shard–lucene实例
Replica-shard–分片副本
Document–row
Field–column
Mapping—ddl,analysis
基础原理参考资料
基本组件
-
filebeat
-
packetbeat
-
logstash
处理各种类型的日志数据，比如ApacheWeb日志和 log4j 应用日志等。
支持各种格式的日志，比如syslog、Windows事件日志、网络和防火墙日志等。
从Ganglia、collectd、NetFlow、JMX等许多其他基础架构以及基于TCP和UDP的应用平台搜集度量数据
http://www.2cto.com/os/201411/352015.html
https://www.elastic.co/guide/en/logstash/current/working-with-plugins.html
http://grokdebug.herokuapp.com/ -
elastic-search
分片
索引
查询优化 -
kibana
应用场景
- 日志收集、分析、报警
- DB慢sql查询
- http服务状态统计报表
- 全文搜索
参考资料
mysql-slow-log
kibana-logstash-es
index过程
资料汇总
https://elasticsearch.cn/topic/