zoukankan      html  css  js  c++  java
  • 大数据量业务订制和解决方案思考

    大数据量的系统要经过对数据的用处分析和数据周期分析,以寻求更好的解决方案。

    1:业务系统的基础数据,如人员基础信息(基础资料,权限等)
    .数据可以KEEP在内存中.数据要分散存储.基础数据逻辑要简洁.使用增量更新.高峰期来临前提前更新基础数据


    2:热数据处理
    此部分数据是各方面环境会频繁使用到的数据 对这部分数据的存储,比如 使用不一样的存储方式,比如建立高效的索引,使用SSD盘,或者使用mysql数据库存储

    3:历史数据的迁移

    近期数据 此类数据是需要最近频繁使用或者调用的数据,对OLTP系统而言此类数据是核心数据。
    历史数据 此类数据主要做历史数据查询或者历史分析数据,建议迁移出OLTP系统数据库

    4:报表数据的存储
    对报表数据进行数据转换,从原始数据,转化到订制数据,再清理 成报表数据

    5:数据库业务拆分 多表数据存储
    将核心业务表进行拆分,既能提高数据库的性能,还能提高数据的安全

    6:索引数据的存储
    无效索引的删除与索引的定期重建 和SSD盘的引入等处理


    数据流转

    数据中心
    订制小数据中心 围绕中心数据库

    数据分发机制
    按区域城市等进行数据分发

    中心数据入库后的流转

    MYSQL:查询类系统:如网站的查询

    多套ORACLE:多用途系统:如备份、物流监控,报表等

    ORACLE:核心业务系统:信息流、物流、资金流全流程控制系统

    大数据分析系统:对历史数据或者大数据进行分析。

  • 相关阅读:
    过河卒(Noip2002)
    暑假学习日记2013/7/18
    暑假学习日记2013/7/16
    iOS中利用CoreTelephony获取用户当前网络状态(判断2G,3G,4G) by徐文棋
    隐藏键盘的N种方法
    cell重用
    关于viewControllers之间的传值方式
    iOS开发之工欲善其事,必先利其器
    NSLog输出格式及随机数
    iOS团队代码规范
  • 原文地址:https://www.cnblogs.com/supertang/p/4180419.html
Copyright © 2011-2022 走看看