zoukankan      html  css  js  c++  java
  • Windows下Hadoop配置和namenode搭建

    1.压缩包下载

    这里我是从Apache官网下载的 hadoop 压缩包:hadoop2.7.5 (下载地址:https://hadoop.apache.org/releases.html

    直接下载压缩包解压放到你的硬盘中即可(注意:不要放到有空格和中文的目录下)

     参考上图即可。

    2.配置Hadoop

    (1)在我的电脑中配置 Hadoop 的环境变量:

      在系统变量中配置 HADOOP_HOME

      在 Path 中配置下 bin 的位置,在末尾新建一行,加上下面这行:

    %HADOOP_HOME%in

    (2)在 hadoop 的 hadoop-env.cmd 文件中配置下本地 JDK 位置(参照下面即可)

      

    (3)检查下 Hadoop 是否成功配置好,在 Dos 窗口下 输入 hadoop version 检测即可

    3.Hadoop 集群配置

    (1)修改 core-site.xml 文件

    <configuration>
        <property>       
            <name>fs.defaultFS</name>       
            <value>hdfs://localhost:9000</value>   
        </property>
    </configuration>

    (2)修改  mapred.site.xml 文件(默认是 mapred.site.xml.template,直接改为 mapred.site.xml 即可)

    <configuration>
        <property>       
            <name>mapreduce.framework.name</name>       
            <value>yarn</value>   
        </property>
    </configuration>

    (3)修改 hdfs-site.xml 文件(对于需要的目录需要自己提前创建好)

    <configuration>
        <!-- 每个Block 的副本数-->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
             <!-- 配置下NameNode存放的位置-->
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:///..../hadoop2.7.5/data/dfs/nn/name</value>
        </property>
      <!-- 配置下DataNode存放的位置-->    
      <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:///.../hadoop2.7.5/data/dfs/dn/data</value>
        </property>
    </configuration>    

    (4)配置 yarn-site.xml 文件

    <configuration>
      <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>

    4.开始运行 Hadoop

    (1)格式化下 NameNode

    hadoop namenode -format

    没有报错说明成功运行

    (2)启动集群服务

    start-all.cmd

    结果会自动弹出四个窗口:hadoop namenode、hadoop datanode、yarn nodemanager、yarn resourcemanager。

    我们也可以使用 jps 来查看下(显示出来的说明已经启动成功):

    16640 Launcher
    9072 NameNode
    15412 RemoteMavenServer
    20196 DataNode
    17432 NodeManager
    5384 ResourceManager
    20572 Jps

     (3)停止服务可以使用

    stop-all.cmd
  • 相关阅读:
    1740-约数之和
    1653-南邮的面积
    1880-A. 偷吃可耻
    1429-全排列的输出
    1342-皇后控制问题
    1340-逆矩阵问题
    1319-n皇后问题
    1221-最少硬币问题
    1219-整数因子分解问题
    linux 命令小结
  • 原文地址:https://www.cnblogs.com/xiaowei123/p/13207714.html
Copyright © 2011-2022 走看看