zoukankan      html  css  js  c++  java
  • 金融行业数据仓库的建设思路

    金融机构建设数据仓库并非一朝一夕之事,需要投入巨大的人力物力,是整个公司战略级的项目,本文只是结合自己的行业知识,整理下大概的建设思路。

    什么是数据仓库?来自百度百科的解释:数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。

    从上面概念中,大概可以知道数据仓库是用于上层分析性报告和决策支持的基石,也就是现在流行的数据中台中重要的组成部分。所以搭建好数据仓库,是整个数据中台建设的重中之重。

    数据仓库一般分为4个层,依次是数据缓冲层-->数据整合层-->数据基础层-->数据服务层,加上底层应用系统的数据源层,和上层分析应用的数据集市层,整个分布图大概如下:

    下面主要说明下,每个层的作用,以及层与层之前的转换边界问题。

    数据源:主要是企业早期建立的各个独立的业务系统或者数据中心,简单的说就是各个数据库DB实例。

    数据缓冲层:也称贴源层或ODS层,存储的表数据基本和数据源一致,只是扩展了数据导入时间和导入日期,因为它的数据来源需要通过ETL从数据源层抽取转换过来。

    数据整合层:也称模型层,这层是整个数据仓库最重要的,它的作用是对公司的全域数据进行系统建模,相关人员必须对整个行业的业务十分熟悉,比如基金行业,需要对证券主信息标准化,证券市场信息标准化,数据字典标准化,数值(单位)标准化,记录(数据来源)标准化等等。数据缓冲层到数据整合层,会涉及到数据的简单清洗和转换,但不会涉及到计算过程。关于行业标准,这里引用下《中国资本市场标准网》http://www.csisc.cn/zbscbzw/hysjmx/index_hysjmx.shtm

      

    数据基础层:也称基础指标层,从数据整合层到数据基础层,会涉及指标因子的计算,比如持仓市值=持仓数量*收盘价,不过基本都是简单的计算。

    数据应用层:也称指标准备层,从数据基础层到数据应用层,会涉及指标的深度计算,比如由数据基础层计算的收益率,延伸计算为7日收益率,成立以来收益率等等。数据基础层形成的指标,也会直接复用到数据应用层。

    数据集市:这层主要是业务场景的应用,根据具体的业务场景,由数据应用层的指标进行拼凑,形成具体的解决方案,供上层应用分析,决策。

    本文只是对数据仓库做个简单介绍,后续有时间再针对每个点涉及的技术(比如大数据平台的应用)作深入剖析。

  • 相关阅读:
    ie下常见的css兼容问题
    jQuery Easing 使用方法及其图解
    数组中常用的15个方法
    js按位运算符及其妙用
    图片格式知多少
    Linux top命令的用法详解
    Another app is currently holding the yum lock; waiting for it to exit...
    ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this S tatem
    Gitlab与Jenkins结合构成持续集成(CI)环境
    cobbler无人值守安装
  • 原文地址:https://www.cnblogs.com/abingtech/p/12934010.html
Copyright © 2011-2022 走看看