zoukankan      html  css  js  c++  java
  • 说说数据处理的两种模式

           现在的计算机的数据处理工作,无论用哪个牌子的计算机,哪种操作系统,何种软件,处理方式都分为两种:集中模式和分布模式,下面说说它们各自的特点。微笑

            集中模式是把数据的存储和计算能力放在一台计算机上,典型如现在普遍使用的数据库。用户通过终端连上主机,主机接受用户的指令执行数据处理工作,把结果反馈给终端。这种模式有一个问题,随着访问量增加,主机的承载压力增大,就必须给主机升级。于是加CPU,加内存,加硬盘(这是很多数据库都用小型机这样高性能计算机的原因),使成本投入越来越大。然而这种改变仍然有限,不能满足需求。

           分布模式采用了把数据存储和计算能力分离的原则,包括存储和计算也是可以分离的,然后通过网络把它们联接起来,形成集群。每台计算机在其中做为一个节点,承担一部分工作 。如果业务规模增加,只需要向集群加入计算机。这种线性扩展使得存储/计算资源得到最大化利用。分布模式的典型如现在的大数据系统,网络搜索引擎。从发展看,这是解决数据量越来越多,计算压力越来越大的唯一的出路。

           集群的计算机规模是不是可以无限扩展呢?答案:不是!受到规模放大效应、木桶短板效应、边界效应等多方面的影响,集群的扩展规模也是有限的。当然,即使这样,集群的处理能力也不是小型机/大型机所能比拟的(目前集群计算机数量可以轻松过千!)。但是仍然不能满足需求,怎么办?答案:并行多集群。将数个集群放在一起并行运行,将数据处理能力继续分拆,可以解决大多计算面临的瓶颈。Laxcus目前已经实现了并行多集种的数据处理。

  • 相关阅读:
    普通人如何做到30分钟读一本书并做完笔记?
    谈谈MySQL死锁之二 死锁检测和处理源码分析
    谈谈MySQL死锁 一
    八种架构设计模式及其优缺点概述(中)
    八种架构设计模式及其优缺点概述(上)
    轻量级开源小程序SDK发车啦
    Magicodes.IE编写多框架版本支持和执行单元测试
    Magicodes.Sms短信库的封装和集成
    Magicodes.IE之导入学生数据教程
    如何基于k8s快速搭建TeamCity(YAML分享)
  • 原文地址:https://www.cnblogs.com/laxcus/p/5303531.html
Copyright © 2011-2022 走看看