大数据项目架构

 具体流程（实时）：

1. 　　应用程序集成SDK，通过API接口实现日志的上传
2. 通过kafka将上传的日志文件收集，
3. 使用合适的实时流处理组件对数据进行实时处理（storm，SparkStreaming，flink）
4. 将处理的数据保存在数据库中(mongdb等)
5. 接下来前端使用dubbo将所需的数据查询
6. 使用easyUI、highcharts将数据可视化