zoukankan      html  css  js  c++  java
  • 弄清Spark、Storm、MapReduce的这几点区别才能学好大数据

    很多初学者在刚刚接触大数据的时候会有很多疑惑,比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱。

    哪一个适合对大量数据进行处理?哪一个又适合对实时的流数据进行处理?又该如何来区分他们呢?

    我对比整理了这3个计算框架的基本知识,大家可以了解一下以便对这个3个计算框架有一个整体的认识。
    大数据学习群119599574

    弄清Spark、Storm、MR的这几点区别才适合学习大数据

    MapReduce

    • 分布式离线计算框架

    • 主要适用于大批量的集群任务,由于是批量执行,故时效性偏低。

    • 原生支持 Java 语言开发 MapReduce ,其它语言需要使用到 Hadoop Streaming 来开发。

    弄清Spark、Storm、MR的这几点区别才适合学习大数据

    Spark

    • Spark 是专为大规模数据处理而设计的快速通用的计算引擎,其是基于内存的迭代式计算。

    • Spark 保留了MapReduce 的优点,而且在时效性上有了很大提高,从而对需要迭代计算和有较高时效性要求的系统提供了很好的支持。

    • 开发人员可以通过Java、Scala或者Python等语言进行数据分析作业编写,并使用超过80种高级运算符。

    • Spark与HDFS全面兼容,同时还能与其它Hadoop组件—包括YARN以及HBase并行协作。

    • Spark可以被用于处理多种作业类型,比如实时数据分析、机器学习与图形处理。多用于能容忍小延时的推荐与计算系统。

    弄清Spark、Storm、MR的这几点区别才适合学习大数据

    Storm

    • Storm是一个分布式的、可靠的、容错的流式计算框架。

    • Storm 一开始就是为实时处理设计,因此在实时分析/性能监测等需要高时效性的领域广泛采用。

    • Storm在理论上支持所有语言,只需要少量代码即可完成适配。

    • Storm把集群的状态存在Zookeeper或者本地磁盘,所以后台进程都是无状态的(不需要保存自己的状态,都在zookeeper上),可以在不影响系统健康运行的同时失败或重启。

    • Storm可应用于--数据流处理、持续计算(持续地向客户端发送数据,它们可以实时的更新以及展现数据,比如网站指标)、分布式远程过程调用(轻松地并行化CPU密集型操作)。

    弄清Spark、Storm、MR的这几点区别才适合学习大数据

    如何用4个月学会Hadoop开发并找到年薪25万工作?

    免费分享一套18年最新Hadoop大数据教程和100道Hadoop大数据必会面试题。

    大数据学习群119599574

    教程已帮助300+人成功转型Hadoop开发,90%起薪超过20K,工资比之前翻了一倍。

    由百度Hadoop核心架构师(T7级别)亲自录制。

    内容包括0基础入门、Hadoop生态系统、真实商业项目实战3大部分。其中商业案例可以让你接触真实的生产环境,训练自己的开发能力。

    wKioL1mdQGiDPhHeAAAuZtp-5xs706.png

  • 相关阅读:
    TensorboardX的使用【有手就⭐系列】
    Python学习记录
    es 之 自定义 mapping(五)
    es 索引和文档 API (四)
    布尔查询(三)
    term 和 match 查询(二)
    使用 Python 批量将数据插入到 ES中
    【flask + vue 前后端分离博客】设计 User 用户(三)
    【flask + vue 前后端分离博客】使用 axios 访问接口(二)
    【flask + vue 前后端分离博客】创建第一个 Flask RESTFul(一)
  • 原文地址:https://www.cnblogs.com/Aa123456780/p/9759603.html
Copyright © 2011-2022 走看看