ELK集群：
主机节点采用日志采集工具如filebeat，logstash等通过日志目录文件进行采集并简单过滤，传输到kafka集群做队列缓存，可以增加一层缓存，降低直接传输带来的延迟数据丢失等。kafka使用zookeeper进行存储。
logstash通过队列去kafka取对应的队列数据，进行过滤正则拆分。可以使用多个logstash，进行分类传输或提高日志传输效率。通过kafka取到数据传入后端es集群节点，进行文档入库。es本质是文档数据库利用了分布式缓存的一些特性，提供入库索引搜索功能。
kibana取es数据进行统计展现，日志可视化。kibana本质上是对es的可视化及简化操作。grafana取es数据进行数据展现，grafana对于数据多维展现等比kibana更加友好。可以对相应的日志值进行预警。
flume+kafka+log4j
链接：https://www.cnblogs.com/blood-bugman/p/flume-based-log-system-architectures-design.html
splunk Forwarder
官网： http://www.splunk.com/
Splunk是一个不开源的，商业化的大数据平台产品。Splunk提供完整的数据采集，数据存储，数据分析和处理，以及数据展现的能力。
Splunk是一个分布式的机器数据平台，主要有三个角色：
- Search Head负责数据的搜索和处理，提供搜索时的信息抽取。
- Indexer负责数据的存储和索引。
- Forwarder负责数据的收集，清洗，变形，并发送给Indexer。
Splunk内置了对Syslog，TCP/UDP，Spooling的支持，同时，用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用，例如AWS，数据库(DBConnect)等等，可以方便的从云或者是数据库中获取数据进入Splunk的数据平台做分析。
这里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高扩展的，但是Splunk现在还没有针对Farwarder的Cluster的功能。也就是说如果有一台Farwarder的机器出了故障，数据收集也会随之中断，并不能把正在运行的数据采集任务Failover到其它的 Farwarder上。