zoukankan      html  css  js  c++  java
  • Spark 概述

    Spark 是什么?

    ● 官方文档解释:Apache Spark is a fast and general engine for large-scale data processing.

    通俗的理解:Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark 部署在大量廉价硬件之上,形成集群。

    ● 扩展了MapReduce计算模型;相比与MapReduce编程模型,Spark提供了更加灵活的DAG(Directed Acyclic Graph) 编程模型, 不仅包含传统的map、reduce接口, 还增加了filter、flatMap、union等操作接口,使得编写Spark程序更加灵活方便。

    ● 高效支持多种计算模式;Spark 不仅可以做离线运算,还可以做流式运算以及迭代式运算。

     

    Spark与Hadoop的关系

    Spark与Hadoop的关系---青出于蓝

    Spark与Hadoop的关系---相辅相成

    Spark的竞争对手---Flink

      

    ● Flink是先有流处理后有批处理

    ● Pipeline vs Stage

    ● 详细内容参看http://note.youdao.com/share/?id=f3b0a1832e4ee43e3e3635913d5e00e1&type=note

    Spark的竞争对手---Storm/JStorm

    ● Storm仅限于流计算(topology)

    ● JStorm参照Flink改进了Storm

    Spark的竞争对手---Hadoop3.x

    详细内容参看http://blog.51cto.com/zero01/2096435

     

    以上就是博主为大家介绍的这一板块的主要内容,这都是博主自己的学习过程,希望能给大家带来一定的指导作用,有用的还望大家点个支持,如果对你没用也望包涵,有错误烦请指出。如有期待可关注博主以第一时间获取更新哦,谢谢!

  • 相关阅读:
    hdu2037 经典贪心入门
    hdu1045 dfs
    poj2243 bfs
    poj2488 dfs
    poj1111 DFS
    单词统计
    冲刺第五天
    七周总结学习笔记
    冲刺第四天
    冲刺第三天
  • 原文地址:https://www.cnblogs.com/zimo-jing/p/9620226.html
Copyright © 2011-2022 走看看