zoukankan      html  css  js  c++  java
  • 批处理与实时处理

    ==============================================================

    场景:

    报表任务:不是实时报表,数据需要加工,不是实时数据,是历史数据(离线数据)

    推荐系统:要求实时

    自己目前对于实时系统的知识不是太多,开发场景也比较少,所以仅仅是为了学习

    ==============================================================

    分布式系统:一个系统多套部署,多套存储,多套缓存,多套数据库(RDBMS,NoSQL)----就是所谓的集群系统,负荷量比较大

    非分布式系统:仅仅不是在一台服务器一个数据库一个缓存服务器

    为了系统的高可用,可以借鉴数据库系统设计的思想,使其具有事务机制(重试机制,提交机制,跳跃机制,恢复机制)

    管理器:就是对所属资源进行分配,调度,是软件设计中模拟显示世界的一种思想(Tracker,mannager,Lanuch,Worker,Context)

    ==============================================================

    批处理:累计采集业务数据,达到一定数量之后统一进行处理。比如报表数据,每个月对当月的数据进行统计 --定时任务或者批处理框架(Spring batch)  Hadoop

    实时处理:数据一旦产生即可处理 ---可以借助消息队列Queue(监听机制,订阅机制)   Storm

    注意:都是针对数据量特别大的场景

    但是对于分布式处理可能有有点麻烦,所以出现了一些框架:hadoop,Storm等

    一般实时处理都采用事件机制(CEP)

    ==============================================================

    hadoop:比较火的一个词,一个分布式批处理框架

    storm: 最近的一个实时处理框架

    ==============================================================

    串并转换的思想或者分治的思想:

    拆分异步执行,合并串行执行

    ==============================================================

    一下基本都是分布式的场景:

    实时处理:storm   

    离线处理:hadoop

    日志监控:flume

    ==============================================================

  • 相关阅读:
    DUDU,发回密码或者登陆系统一定有问题
    柱状图改进版
    辞职了......
    (转)密码学领域重大发现:山东大学王小云教授成功破解MD5
    用C# and GDI+画柱状图(可以从数据库里导出数据画)
    今天,在苏州落户了.
    在Windows2000Server(CPUP4)系统下安装Oracle时一点小问题
    毕业后,两个月,第二家公司上班第一天
    Ubuntu10.04窗口风格改为windows风格的方法
    MYSQL修改密码并设置允许远程访问
  • 原文地址:https://www.cnblogs.com/gstsyyb/p/3840730.html
Copyright © 2011-2022 走看看