zoukankan      html  css  js  c++  java
  • Spark学习入门

    写给自己的话:

        对于大数据开发的工作要求,spark随时可见。所以要下定决心好好看一看spark相关的技术。

    学习目录:

    第一步是配置spark环境:包括linux系统的安装,java,ssh,Hadoop,Scala,spark的安装与环境变量设置。

    第二步:java学习。

    第三步:Hadoop学习。HDFS,MR计算框架,必须得知道吧。spark也是需要在HDFS上进行数据获取的,学习Hadoop才能知道其不足,明白spark的优势,为什么Hadoop必死。在hdfs的操作指令也必须掌握。能会写MapReduce程序就再好不过了。
    第四步:Scala学习。函数式编程,重点明白这个吧。只需能看懂,而且会使用Scala操作RDD就行。
    第五步:就是spark学习。当然,最好学习spark的方式就是看官方文档,读源码,看博客(博客写的都太简单,没有特别深入的),看RDD的论文,作业如何调度,某研究院的spark官方文档中文翻译https://www.cnblogs.com/BYRans/p/5057110.html
     
    学习渠道:
    • 官网的编程手册
    • 只有实际项目才能从本质上提升一个人的spark能力
     
  • 相关阅读:
    CentOS 7 iSCSI 多路径Multipath配置
    Centos7 GRE Tunnel
    ESXi开启虚拟化
    ownCloud 10.2.1搭建云盘服务器
    cinder不同类型volume转换
    linux的bond及子接口配置
    openstack 平台添加vGPU
    ownCloud 10.2.1搭建云盘服务器
    openstack nova 热迁移问题
    bugku-web40对git命令的使用
  • 原文地址:https://www.cnblogs.com/ljangle/p/10436663.html
Copyright © 2011-2022 走看看