大数据架构分析

1.典型应用

   * ab test 平台 指标计算+指标 orderid, passenger 等.      cube 算法,快速生成 n 个维度的数据,可随意的下探上放. 其他细节

    见个人日记 http://www.cnblogs.com/fei33423/diary/2017/07/13/7160903.html

   * 监控统计

   * 报表展现

   * 异常检测 余弦定理 ,Apollo采用箱线图（Boxplot）

2. cboard 前端展现平台, 拖拽

维度就是 mysql 里的 group by

类比:

谈谈互联网后端基础设施

www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/

文件系统:

    hdfs

数据库:

   hbase phoenix 提供 sql 操作, join 缺失 https://github.com/forcedotcom/phoenix

计算系统:

   hive

sql管理和定时执行平台:

      阿里宙斯zeus.(自称调度,并没有资源协调功能,有hive本身完成.. )  查询数据,插入到数据库中. 数据库本身提供变动发送mq.

统计分析和展现平台:

      大数据分析神兽麒麟(Apache Kylin) -- 全套. 含数据抽取 .全量数据统计, 各个维度都帮你计算好 .维度就是 mysql 的 groupby

      CBoard 展现. 各种图表 CBoard 前端.

      zeppeline 类似cbord.

     cboard 只是展示, 没有环比,同比监控.  

     open-falcon  cboard

    Tableau 大数据分析 druid  dataiku 很方便进行数据分析,筛选. 自动化报表查询,可视化. 分布饼图.