zoukankan      html  css  js  c++  java
  • 对数据交换平台,教育行业大数据平台的思考

    数据交换规范说明:

        市(区)的所有教育业务系统数据,要求在最短的时间内到达教育云数据中心,进行快速计算,提供决策分析依据。这对时效性要求很高,但因目前技术限制,无法做到完全实时,我们采用准实时的方案进行应对:业务系统的新增数据在5分钟之内汇集到教育云大数据中心。

        市(区)教育业务系统现有数据量巨大,每日还会有大量的新数据产生。采用传统的数据整体查询、文件定时上报等方式,不能满足准实时查询分析要求,增量查询成为必然。

      具体描述:
        (1)提供业务数据的系统,必须将业务的流水信息、统计信息等业务信息,提供文档说明要交换的内容描述,数据库表设计说明,字段含义,

        并开发以增量形式提供查询接口,参数为起始查询ID,查询个数,返回JSON形式的数据结果,其中需要特殊注意的是每个上报表都需要有一列TS,就是时间戳,名称不允许改变,格式为整数(长整数)。


        (2)对于新增的数据、删除的数据(要实现打标识的删除办法,不得进行物理删除)、修改的数据,每条记录产生变化时,均需记录每一行数据的版本号,下面分别以MYSQL,SQL SERVER,ORACLE说明实现原理    

    MYSQL:
    CREATE TABLE temp
    (
     id INT(11) PRIMARY KEY AUTO_INCREMENT,
     name VARCHAR(10),
     updated_at timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
    );


    SQL SERVER:
    CREATE TABLE ExampleTable2 (PriKey int PRIMARY KEY, VerCol rowversion) ;  


    ORACLE 10g:
    create table testscn(id number(5),name varchar2(10),sex number(1),addr varchar2(100)) rowdependencies;
    select ora_rowscn,id,name,sex,addr from testscn


    对于其它数据库的具体实现,请各对接方自行实现。

         (3)安全控制:PHP、JAVA、C#、Object-C 通用的DES加密,密码由教育云大数据中心与各业务系统之间预先约定好。

        http://www.cnblogs.com/pengxl/p/3967040.html

        要加密的字符串的生成规则是: 系统编码(0001:教育云大数据中心,0002:综合素质评价系统,0003:某某系统...) + 空格 +20160715010001(年月日时分秒),判断条件:
        是否能解密成功,解密成功后判断时间戳是否与系统时间的差值在10分钟以上等。


    5、大数据分析
         东师理想多年来一直致力于教育行业信息化建设,对于教育行业的大数据分析问题进入深入思考,并与国内多个云计算,大数据分析厂商保持紧密合作,采用跨粒度计算、并行计算、列存储 、内存计算等多项技术支撑PB级大数据,具有高性能的大数据分析能力。对于各种新增的BI分析等需求,最短可以达到3天内上线,远非传统BI系统开发周期可比。


     

    ======================================================================

    http://www.yonghongtech.com/html/video/jiaocheng/#baipishu

    https://www.shujuguan.cn/

    http://www.moojnn.com/

    http://cio.it168.com/a2015/0806/1752/000001752658.shtml 

    http://wenku.baidu.com/link?url=P92ivLsVN9NWIz6gvXSpDA00GJ8_BOqPFe-1e7Yhh1lMKeieYhMvvFdfKP9cn-P4txTDNtYNzpapkXlOC4nPDVXedYyHN5qdog6DU0FzP4i

     

     大牛关于大数据的论述

    http://www.enet.com.cn/article/2013/0826/A20130826306754.shtml

    ======================================================================


    1、统一认证模块为云平台附属模块,不独立销售,购买云平台即赠送统一认证,如客户已有统一认证系统,我们可屏蔽统一认证系统,对接已有的统一认证系统。

    2、 统一数据模块原来的职能为将基础数据共享给其它接入的业务系统,在目前看来,客户需要多个业务系统并存,不只需要单向的基础数据到业务系统功能,而是需要 各个业务系统、基础数据之间的数据互通,是一个标准的数据总线形式,同时在上端根据不同系统的数据汇集,进行大数据分析,形成决策依据,为此将此块功能进 化为:
       教育云大数据中心,提供各业务系统数据互联互通,大数据分析结果互联互通等功能。对于无大数据分析需求的客户,教育云大数据中心可单独提供业务系统数据互联互通功能。

    3、基础数据模块与其它业务系统在本质上并无不同,一样遵循东师理想云平台的数据交换规范,采用数据增量接口+安全权限控制的方法进行互联互通。

  • 相关阅读:
    挂载nfs网络共享目录到本地目录报错
    ubuntu18.04,centos7.7下安装nfs详细步骤
    linux的fstab配置文件
    nginx整合php后,浏览器访问.php文件报错
    centos中安装php7.3.13(目前最新版)
    skills_nginx
    problems_ubuntu
    problems_nginx
    docker中部署halo
    数论学习
  • 原文地址:https://www.cnblogs.com/littlehb/p/5670230.html
Copyright © 2011-2022 走看看