zoukankan      html  css  js  c++  java
  • yarn搭建

    (1)编辑mapred-site.xml配置文件。

    配置文件位于Hadoop安装位置的etc/hadoop/目录下。代码如下:

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    在上面的配置中,通过设置mapreduce.framework.name的值为yarn,指明通过yarn进行资源管理。

    (2)伪分布yarn的yarn-site.xml配置文件内容如下:

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

    (3)完全分布式的yarn-site.xml修改内容如下:

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.address</name>
            <value>192.168.10.11:8031</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.address</name>
            <value>192.168.10.11:8032</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.scheduler.address</name>
            <value>192.168.10.11:8034</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.webapp.address</name>
            <value>192.168.10.11:8088</value>
        </property>
        <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
        <property>
            <name>yarn.log.server.url</name>
            <value>http://node1:19888/jobhistory/logs</value>
        </property>
    </configuration>

    (4)将mapred-site.xml和yarn-site.xml发送给slave节点,执行命令如下:

    首先启动hdfs环境 接着通过JPS查看进程,发现有NameNode和DataNode:

     (6)启动YARN,启动命令和启动后的结果如下:

     注意: 如果出现如下错误: 

    ERROR: Attempting to operate on yarn resourcemanager as root
    ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
    Starting nodemanagers

    是因为共有用户定义造成的,所以分别编辑开始和关闭脚本

    $ vim sbin/start-yarn.sh 
    $ vim sbin/stop-yarn.sh 

    顶部添加

    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

    启动成功后可看到如下ui界面: 

    author@nohert
  • 相关阅读:
    javascript命名规范
    angularjs指令参数transclude
    angular中的compile和link函数
    angularjs中的directive scope配置
    sublime text3同时编辑多行
    jquery中on/delegate的原理
    defered,promise回顾
    导航栏滚动到顶部后固定
    angularjs揭秘
    $stateParams
  • 原文地址:https://www.cnblogs.com/gzgBlog/p/13976428.html
Copyright © 2011-2022 走看看