zoukankan      html  css  js  c++  java
  • 建立一个全数据管理的分析平台,该如何落实?

    数据管理平台可以通过报表或者BI模块来搭建。在知乎专栏《帆软数据应用研究院》里有很多关于企业数据管理和BI报表平台建设的案例。

    站在项目实施的角度,可以从技术和业务两个层面来考虑。

    前期进行需求调研。罗列了一张建设思路图。

    建立一个全数据管理的分析平台,该如何落实?

    技术上需要考虑两大主体,一是公司的数据量,而是具体的需求情况。

    数据情况

    1、数据来源:考虑数据主要来源的业务系统有哪些?是否需要建立数据仓库?以及前期准备工作,比如相关数据字典准备,甚至是取数接口等问题。

    举个例子,比如财务数据来自EAS,管理数据来自OA,销售数据来自SAP,以及各个业务系统的数据库类型。

    2、数据情况:业务系统内最大单表的数据量及数据增量是多少。通过了解最大单表的数据量及数据增量,初步规划数据处理方案,是否要建立中间层,索引,GP等,选择合适的分析平台,是BI还是一般的报表平台。

    比如销售数据子表已有2000W的数据,月增量50W,那么处理方案可以考虑通过报表平台FineReport来展示,建立中间层与索引,以提高查询效率与展示性能。又或者通过大数据BI平台FineBI建立前台分析,采用FineIndex的方式,以提高展示性能。

    3、数据补录:主要是维度数据维护与事实数据补录,具体的工作就是填报页面的维护。比如人力分析中的工资分析,一般是财务线下数据,那么需要开发填报导入页面以作数据录入。

    这项工作需要考虑补录的数据录到什么地方:如果建立数据仓库就直接填入数仓中;但是如果通过直连开发报表,是否需要将补录的数据直接录入到业务系统中。

    4、数据仓库:针对需求主体、分析指标及数据情况判定是否需要建立数据仓库。如果需要将财务数据、费用数据整合分析,但是财务数据来自EAS,费用数据来自OA,那么这样的情况就需要建立数据仓库以实现整合分析。这里需要考虑在建立数据仓库之后,相关维度数据的对应关系是否和人员组织架构有效对应。

    需求情况

    需求分析的主要是业务指标、主题模块和分析场景的确定。

    1、前期需要确定这个平台面向的适用对象,不同层级的领导人员关注的指标不同,需要

    规划分析指标及分析形式。比如领导只关注销售额、利润率等等几个主要数据,而业务层在指标的基础之上可能还涉及到钻取分析、联动分析等。

    2、需求的主体主要包含三部分的内容:需求模块+模块指标+分析形式。通过需求模块+模块指标+分析形式,初步框定需求内容,评估工作量及实施报价。比如销售分析,涉及到客户分析、订单分析、产品分析、渠道分析等分析指标,各个指标可能需要层级钻取分析、同比分析等分析形式。

    困难点

    首先,对于这样一个平台要有良好的定位——面向业务的敏捷相应开发平台。

    其次,如何调配人员,如何推动项目的顺利进行?个人建议是,如果人员充分可以试着让一线业务人员能参与甚至直接进行系统开发,这样既能提高开发效率,切实满足业务需求,同时还能减轻IT部门压力。二是一定要有领导高层亲自参与,从上之下推动执行。

  • 相关阅读:
    Namenode主节点停止报错 Error: flush failed for required journal
    IntelliJ IDEA2018.3 最新破解方法
    idea 中解决maven 包冲突的问题(maven helper)
    java中的守护线程
    synchronized锁住的是代码还是对象
    maven package,clean,install,compile命令
    设计模式——装饰者模式
    设计模式——观察者模式
    com.alibaba.fastjson.JSON对类对象的序列化与反序列化
    java8 Stream使用案例
  • 原文地址:https://www.cnblogs.com/fr2851322971/p/6603589.html
Copyright © 2011-2022 走看看