zoukankan      html  css  js  c++  java
  • Hadoop搭建总结(一)

    从开始知道需要安装Hadoop到现在Hadoop安装成功并可以使用,前前后后花费了好长时间,但是从中也吸取了很多教训,

    1.不要永远照抄别人的教程。这一点是我这近两天发现的,比如在所有的网上的教程,基本都是会指导你去安装一个Windows与Linux之间文件传输的工具

    起初我也是按照网上的教程,MobaXterm,这个软件就是那个传输工具,又在这个软件使用上花费了很大功夫,但是更具自己的理解,Linux也是一个系统

    既然是一个成熟的系统,那么它就肯定也会具备window绝大部分的功能,很快我就发现了,可以在Linux系统上直接去官网下载相应的jdk和Hadoop。

    2.更具自己的理解去配置jdk和Hadoop

    为什么这样说呢,以前在配置window上上的jdk时,网上的教程也是千奇百怪,作为一个新手去配置,总会显得好多东西很难理解,而对于Linux又是一个完全不一样的

    环境,在这个新的系统,就有新的系统的规则,而Linux的规则就是忘了所有的界面,就比如一个新建文件夹,在Windows中右击新建很轻松,而在Linux系统上mkdir 文件名,这并不是Linux不好,二十Linux有它自己的规则,说到这里。就很清楚了,我们需要知道Linux的规则,而规则很容易就可以从网络上获取,为什么要配置环境变量?不就是希望系统可以找到你的jdk和Hadoop吗。到这里,我们就懂了如何去操作了。

    我是这样做的

    (1)jdk和Hadoop环境变量配置教程

    在windows系统上我们需要配置JAVA_HOME,CALSSPATH,PATH在Linux系统中我们也是需要配置的,下面是我的配置(注意文件的路径是不一样的,根据自己的情况定):

    export JAVA_HOME=/home/yan/hadoop/jdk1.8.0_261
    export HADOOP_HOME=/home/yan/hadoop/hadoop-2.10.1
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
    ~                                                                               
    ~                                                                      

    相信这一段代码很容易就可理解,如果这都不能理解这能说你当时安装jdk时,只是照抄网上的教程,基本意思还不知道

    在环境配置好了之后,我们就需要去验证,jdk的验证与Windows一样,Hadoop的验证时hadoop version

    如果通过了验证就证明你的环境变量都配置好了。

    下面就需要对Hadoop集群进行配置,明天写!

  • 相关阅读:
    集合
    元组 与 字典
    列表
    练习题
    字符串的类型补充
    3月19号练习题及作业
    变量,用户交互的补充内容,以及数据内容
    Python 入门
    计算机基础
    决策树的概念及其训练
  • 原文地址:https://www.cnblogs.com/lianggegege123/p/13829527.html
Copyright © 2011-2022 走看看