zoukankan      html  css  js  c++  java
  • 2018最新hadoop大数据开发学习路线

     hadoop是大数据学习中重要的一部分,在这里,给大家分享一个学习路线:hadoop生态圈——Strom——Spark——算法。
     
    想学好大数据学习hadoop是第一步,在这里声明一下,在学习hadoop之前需要有java基础,因为hadoop底层全是用java写的。
     
    还需要系统层面学会使用linux的基本shell命令,因为你学习hadoop得首先会安装hadoop。
     
    Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。
     
    怎么样开始学习hadoop。大致的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目的。


    第一部分:Linux环境安装Hadoop是运行在Linux,虽然借助工具也可以运行在Windows上,但是建议还是运行在Linux系统上,第一部分介绍Linux环境的安装、配置、Java JDK安装等。

    第二部分:Hadoop本地模式安装Hadoop本地模式只是用于本地开发调试,或者快速安装体验Hadoop,这部分做简单的介绍。

    第三部分:Hadoop伪分布式模式安装学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块,伪分布式的意思是虽然各个模块是在各个进程上分开运行的,但是只是运行在一个操作系统上的,并不是真正的分布式。

    第四部分:完全分布式安装完全分布式模式才是生产环境采用的模式,Hadoop运行在服务器集群上,生产环境一般都会做HA,以实现高可用。

    第五部分:Hadoop HA安装HA是指高可用,为了解决Hadoop单点故障问题,生产环境一般都做HA部署。这部分介绍了如何配置Hadoop2.x的高可用,并简单介绍了HA的工作原理。

    注意事项:

    环境搭建好后,然后尝试编写mapreduce进行打包运行。当你对hadoop应用编程层面没有疑问的时候,可以尝试去深入了解mapreduce的核心思想,尤其是map,shuffle,join,reduce等。

    对于很多新手来说,入门会遇到很多问题,这是正常的现象,不过遇到问题不可怕,只要想办法解决了自己的能力就会一点一点的提高。
  • 相关阅读:
    HDU 5528 Count a * b 欧拉函数
    HDU 5534 Partial Tree 完全背包
    HDU 5536 Chip Factory Trie
    HDU 5510 Bazinga KMP
    HDU 4821 String 字符串哈希
    HDU 4814 Golden Radio Base 模拟
    LA 6538 Dinner Coming Soon DP
    HDU 4781 Assignment For Princess 构造
    LA 7056 Colorful Toy Polya定理
    LA 6540 Fibonacci Tree
  • 原文地址:https://www.cnblogs.com/Bigata/p/9669465.html
Copyright © 2011-2022 走看看