zoukankan      html  css  js  c++  java
  • Spark的发展历史

    原文地址:https://cloud.tencent.com/developer/article/1442771

    Spark是一种通用的大数据计算框架,使用了内存内运算技术。今天加米谷大数据就来简单介绍一下Spark的简史。

    Spark的简史

    1、2009年,Spark诞生于伯克利大学AMPLab,属于伯克利大学的研究性项目;

    2、2010 年,通过BSD 许可协议正式对外开源发布;

    3、2012年,Spark第一篇论文发布,第一个正式版(Spark 0.6.0)发布;

    4、2013年,成为了Aparch基金项目;发布Spark Streaming、Spark Mllib(机器学习)、Shark(Spark on Hadoop);

    5、2014 年,Spark 成为 Apache 的顶级项目; 5 月底 Spark1.0.0 发布;发布 Spark Graphx(图计算)、Spark SQL代替Shark;

    6、2015年,推出DataFrame(大数据分析);2015年至今,Spark在国内IT行业变得愈发火爆,大量的公司开始重点部署或者使用Spark来替代MapReduce、Hive、Storm等传统的大数据计算框架;

    7、2016年,推出dataset(更强的数据分析手段);

    8、2017年,structured streaming 发布;

    9、2018年,Spark2.4.0发布,成为全球最大的开源项目。

    基本组件

    Spark Core;Spark 核心 API,提供 DAG 分布式内存计算框架

    Spark SQL:提供交互式查询 API

    Spark Streaming:实时流处理

    SparkML:机器学习 API

    Spark Graphx:图形计算

  • 相关阅读:
    面试(5)
    面试(五)
    面试(4)
    面试(四)
    面试(三)
    面试(2,3)
    利用session控制 长时间未操作自动退出登录
    一次性清除所有session
    动态引进js文件
    Vue--findIndex方法的使用原理
  • 原文地址:https://www.cnblogs.com/eyesfree/p/13712085.html
Copyright © 2011-2022 走看看