zoukankan      html  css  js  c++  java
  • 启动 YARN 并运行 MapReduce 程序(伪分布式模式)

    配置集群

    配置yarn-env.sh

    Linux系统中获取JDK的安装路径

    [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME
    /opt/module/jdk1.8.0_144
    

    修改JAVA_HOME路径

    [xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/yarn-env.sh
    
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    

    配置yarn-site.xml

    [xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/yarn-site.xml
    
    <!-- Reducer获取数据的方式 -->
    <property>
     		<name>yarn.nodemanager.aux-services</name>
     		<value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
    

    配置mapred-env.sh

    Linux系统中获取JDK的安装路径

    [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME
    /opt/module/jdk1.8.0_144
    

    修改JAVA_HOME路径

    [xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/mapred-env.sh
    
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    

    配置(对mapred-site.xml.template重命名为)mapred-site.xml

    [xiaoran@hadoop101 hadoop-2.7.2]$ mv mapred-site.xml.template mapred-site.xml
    
    [xiaoran@hadoop101 hadoop-2.7.2]$ vim etc/hadoop/mapred-site.xml
    
    <!-- 指定MR运行在YARN上 -->
    <property>
    		<name>mapreduce.framework.name</name>
    		<value>yarn</value>
    </property>
    

    启动集群

    启动前必须保证 namenode 和 datanode 已经启动

    启动 ResourceManager

    [xiaoran@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
    

    启动 NodeManager

    [xiaoran@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
    

    集群操作

    [xiaoran@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/xiaoran/input /user/xiaoran/output
    

    注意:文件 /user/xiaoran/output 事先不能存在

  • 相关阅读:
    js 判断window操作系统 2种方法
    HTML5 16进制颜色
    html5 动画运动 属性
    html5 动画运动 属性
    html5 图片旋转 --位置定位
    html 5 过渡 属性 高度 宽度 颜色 样式等。。。
    jquery 文档操作
    html5 表单 自带验证
    PHP微信授权登录信息
    接口测试-requests高级用法
  • 原文地址:https://www.cnblogs.com/xiaoran991/p/13881415.html
Copyright © 2011-2022 走看看