Logstash 介绍: Logstash 是一个开源的数据收集引擎具有实时管道能力, Logstash 可以动态的统一数据从不同的来源和使数据规范化到你选择的目的地。 当Logstash 起初驾驭创新到日志收集,它的功能很好的扩展超出使用案例。 任何事件的类型可以被丰富和改变使用一个input,filter和输出引擎,使用很多的本地的代码简化了采集的过程。 Logstash 加速你的领悟通过利用大量的数据和各种数据 Logstash 的能力: 1.采集用于Elasticsearch 和其他 2.横向扩展数据处理管道使用更强的Elasticsearch 和 Kibana 3.管道结构 4.混合,match,和编排不同的inputs,和输出来发坏管道 5.社区可扩展和开发友好的插件 Logstash 喜欢数据 收集更多, 因此你知道更多,Logstash 欢迎各种形状和大小的数据 日志和度量: 当所有的都启动: 处理所有类型的logging 数据: 容易获取大量的web 日志 像Apache,和应用日志像log 4j 对于JAVA 捕获很多其他日志格式像syslog,Windows 事件日志,网络和防火墙日志 享受互补的安全日志转发能力 使用Filebeat收集metrics 从Ganglia WEB : 解锁web 转换HTTP 请求为events(blog) 从web service 像Twitter 对于社会观点分析的 创建事件通过 轮询HTTP 端口按需求 通常捕获健康,性能,metrics和其他类型的数据从web应用接口, 数据存储和流 发现更多的值从你拥有的数据 更好的了解你的数据从任何相关的数据库或者NOSQL 存储使用JDBC接口 统一不同的数据从消息队列 像Apache Kafka,MQ 等 Sensors and IoT 探索其他数据的膨胀宽度: 传感器和物联网 在这个技术进步的年代,大量的物联网世界带来无尽的使用案例通过捕获和利用连接的传感器的数据 简单的丰富一切: 数据越多,知识越多。清理和转换你的数据在获取得到接近实时的了解 Grok 是面包和 Logstash 过滤器的 黄油是用于无所不在的 来导出非结构化数据。 享受完整的模式旨在帮助快速解决web,systems, networking, and other types of event formats. 扩展你的视野通过解读geo 地理坐标 通过IP地址,规范数据的复杂性,简化键值对和CSV数据, Codecs 是经常用于轻松处理普通事件结构像JSON和多行事件