zoukankan      html  css  js  c++  java
  • Dataphin的代码自动化能力如何助力商业决策

    前言

    随着大数据趋势的迅速增长,数据的重要性与日俱增,企业内看数据、用数据的诉求越来越强烈,其中最常见的就是各种经营报表数据:
    老板每日早晨9点准时需要看到企业核心的经营数据,以便进行企业战略及方向决策
    业务负责人不定期进行个性化的项目筹划,需要多维、及时的效果数据以优化项目安排
    小二精准营销活动开展,需要和高层一致但粒度不同的经营分析数据,并进行活动策略调整
    ……
    举个经营报表的例子如下:

    这个例子并不复杂,但是对于分析师或者业务开发者,实际执行的复杂度和工作量并不小,而且类似的工作每日都在重复……业务发展越快,带来的问题就越来越多:

    • 加工时间长、人工成本高,招再多的分析师也难以满足需求;
    • 代码可读性差,数据可维护性差,类似需求需要反复、重复开发;
    • 代码开发不规范,加工过程中难以避免的计算存储浪费;
    • 得到的数据指标,复用性差导致重复建设,数据越来越不标准规范;
    • 这种情况下对业务的直接影响就是:决策周期长(数据需求满足慢),决策易出错(数据指标口径不一致)

    Dataphin:让“指标计算器”代替“代码编辑器”

    既要保证数据生产时效性——及时产出数据并满足需求,又要支持数据多样性——企业自下而上不同业务分析场景,最后还要保证数据准确性——任何时间、不同岗位的人都能用同样的数据解读经营情况,怎么才能做到呢?

    企业的发展加速,离不开20世纪的文档管理转到21世纪的信息管理。同样的,如果繁复的指标代码编写工作,也可以如计算器一般,界面可视化点选,复杂的代码研发过程由计算器自行处理完成,就好了。

    而Dataphin基于One Data - One Model能力,就可以充分实现这个能力!

    Step 1 选择组合条件

    如下图,确定需要统计计算的值,Dataphin里称为“原子指标”——最小的数据值统计单元,比如用户数这样的统计值等,然后组合如下内容:

    A. 统计计算值需要应用的分析对象,Dataphin里称为“统计粒度”——维度或维度的组合,比如用户星级、用户状态等;
    B. 数据统计计算的时间周期,Dataphin里称为“统计周期”——统计数据需要跨越的时间长度,比如最近1天、最近30天、自然周、自然月的等;
    C. 数据统计的其他个性化限定条件,Dataphin里称为“业务限定”——数据记录的筛选过滤条件,比如生鲜业务类型、PC端、女性等。

    Step 2 预览指标

    选择完毕组合条件后,可以预览组合出来的派生指标:
    1)组合的指标,默认名取“原子指标+时间周期+业务限定”组合名,保证命名标准规范。
    2)历史已生成的组合,不再生成,保证指标建设统一,无重复

    Step 3 一键自动化生成!

    确认需要提交的指标后,一键【提交】,分钟级指标生成:
    1)自动汇聚至以“统计粒度为主题”的汇总逻辑表表下,保证管理标准规范;
    2)代码和调度依赖关系,系统自动生成;
    3)派生指标基于汇总逻辑表,可快速雪花模型查询使用指标、分析对象的属性信息。
    ①派生指标自动汇聚至汇总逻辑表

    ②派生指标所在汇总表节点,代码及调度关系自动生成

    ③汇总表及派生指标可查询消费

    Step 4 复杂需求实现

    上面主要是基于简单统计指标实现,实际上,报表需求还有类似 比率型、乘积型等复合统计方式,比如“客单价=销售额/客户数”,这类也可以通过Dataphin的衍生原子指标实现:
    1)衍生原子指标是基于原子指标的再组合;
    2)基于衍生原子指标新建派生指标时,需要保证拆解到最细粒度的原子指标,有相同的分析维度、时间周期,允许维度的计算路径不同、设置的业务限定不同。
    ①新建衍生原子指标

    ②基于衍生原子指标新建派生指标

    Dataphin:“指标计算器”背后的故事

    上面步骤可以看到,派生指标的计算生成,离不开原子指标、业务限定、统计粒度的协助,这其中有什么奥秘呢?
    其实很简单,用Dataphin高效创建派生指标,掌握这1张图就够了:
    1)原子指标为核心,原子指标的来源表为中心
    2)统计粒度取自来源表的关联维度,以及关联维度上的关联维度
    3)业务限定基于来源表为中心的雪花模型做定义
    4)统计周期可任意搭配使用

    总结:One Model,One Dream

    Dataphin作为阿里巴巴数据中台原创产品,从设计之初就决心为业务价值而生!

    其中的智能研发版以One Data - One Model的方法论为指导,致力于统一的数据构建与管理:
    指标【标准化】,保证数据研发的【一致性与效率】
    【拖拽式】数据模型设计+【自动化代码】开发=高效的【数据研发生产力】

    从而帮助企业充分发挥数据价值、实现业务价值:

    100%消除二义性:根据【选择条件】组合,【批量生成】统计指标
    分钟级自动化代码生成:【可视化设计】编辑逻辑表星型模型/雪花模型,【设计提交】自动化生成代码(设计即开发)

    希望不远的未来,每个企业都可以基于Dataphin做出最高效、最全面、最正确的决定!

    结语

    阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
    阿里巴巴数据中台解决方案,核心产品:
    Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
    Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
    Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
    欢迎志同道合者一起成长! 

    本文作者:张骞

    原文链接

    本文为云栖社区原创内容,未经允许不得转载。

  • 相关阅读:
    day 66 ORM django 简介
    day 65 HTTP协议 Web框架的原理 服务器程序和应用程序
    jQuery的事件绑定和解绑 事件委托 轮播实现 jQuery的ajax jQuery补充
    background 超链接导航栏案例 定位
    继承性和层叠性 权重 盒模型 padding(内边距) border(边框) margin 标准文档流 块级元素和行内元素
    属性选择器 伪类选择器 伪元素选择器 浮动
    css的导入方式 基础选择器 高级选择器
    03-body标签中相关标签
    Java使用内存映射实现大文件的上传
    正则表达式
  • 原文地址:https://www.cnblogs.com/zhaowei121/p/11911134.html
Copyright © 2011-2022 走看看