zoukankan      html  css  js  c++  java
  • 大数据架构分析

    1.典型应用

       * ab test 平台 指标计算+指标 orderid, passenger 等.      cube 算法,快速生成 n 个维度的数据,可随意的下探上放. 其他细节

        见个人日记 http://www.cnblogs.com/fei33423/diary/2017/07/13/7160903.html

       * 监控统计

       * 报表展现

       * 异常检测 余弦定理 ,Apollo采用箱线图(Boxplot)

    2. cboard 前端展现平台, 拖拽

    维度就是 mysql 里的 group by

    类比:

    谈谈互联网后端基础设施

    www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/

    文件系统:

        hdfs

    数据库:

       hbase phoenix 提供 sql 操作, join 缺失 https://github.com/forcedotcom/phoenix

    计算系统:

       hive

    sql管理和定时执行平台:

          阿里宙斯zeus.(自称调度,并没有资源协调功能,有hive本身完成.. )  查询数据,插入到数据库中. 数据库本身提供变动发送mq.

    统计分析和展现平台:

          大数据分析神兽麒麟(Apache Kylin) -- 全套. 含数据抽取 .全量数据统计, 各个维度都帮你计算好 .维度就是 mysql 的 groupby

          CBoard 展现. 各种图表 CBoard 前端.

          zeppeline 类似cbord.

         cboard 只是展示, 没有环比,同比监控.  

         open-falcon  cboard

        Tableau 大数据分析 druid  dataiku 很方便进行数据分析,筛选. 自动化报表查询,可视化. 分布饼图.

  • 相关阅读:
    算法之【仿竖式算法】
    算法之【大整数乘法】
    EIGRP系统复习【转载】
    算法之【插入排序法】
    算法之【折半插入法】
    ★10 个实用技巧,让Finder带你飞~
    ★宣传广告变成社会标准
    ★路由递归查询方法及相关图…
    自制tunnel口建虚拟专网实验
    【★】路由环路大总结!
  • 原文地址:https://www.cnblogs.com/fei33423/p/7160943.html
Copyright © 2011-2022 走看看