zoukankan      html  css  js  c++  java
  • 余额宝数据架构阅读

    链接https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547540&idx=1&sn=b3f568ba4bd1c4a0a2d35c0e5ef033cc&scene=21#wechat_redirect

    余额宝目前储存有大量的数据,那么如何处理、储存和利用这些数据是需要解决的问题,同时还要保证数据的安全性

    数据来源于业务数据、日志数据和其他数据

    采用分布式的数据储存:

    后台的数据储存系统可以分为两部分,一部分解决实时查询,另一部分用于离线计算,对数据进行挖掘、分析。

    外部储存的数据可以是业务数据、文件日志等,将他们导入到数据库

    前端采用自主开发的数据库软件或其他可用外部工具

    在他们之间通过算法的处理,如:神经网络、机器学习等增加数据调用的速度,数据的实时处理速度

    • 耦合。首先计算和数据的耦合还是存在的。这实际上是对系统的扩展是不利的。另外,单个计算节点上,在业务上还是存在耦合,我们很多业务上的东西还是存在拆分的可能。

    • 数据流转,我们现在数据库层面也是分布式,所以数据的抽取、同步和流转会遇到很多现实的问题。

    • 运维。在运维方面除了遇到的传统分布式系统的运维遇到的一些难题之外,我们还在业务层面的运维也会遇到一些现实问题。

    按照业务分类储存数据,建立分布式的储存系统

    批量计算:RDS 集群

    分析型、挖掘类需求可采用列存数据库

    保证系统数据的安全行

    提高数据的读写速度

    对历史数据分析、挖掘

    减少数据同步出现的数据冗余

  • 相关阅读:
    python入门-函数(二)
    python入门-函数(一)
    python入门-WHILE循环
    python入门-用户输入
    python入门-字典
    Spring Security授权 AccessDecisionManager
    Java的性能优化
    datahub
    vbs mytest
    spring发布和接收定制的事件(spring事件传播)
  • 原文地址:https://www.cnblogs.com/0710whh/p/10665969.html
Copyright © 2011-2022 走看看