zoukankan      html  css  js  c++  java
  • yarn搭建

    (1)编辑mapred-site.xml配置文件。

    配置文件位于Hadoop安装位置的etc/hadoop/目录下。代码如下:

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    在上面的配置中,通过设置mapreduce.framework.name的值为yarn,指明通过yarn进行资源管理。

    (2)伪分布yarn的yarn-site.xml配置文件内容如下:

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

    (3)完全分布式的yarn-site.xml修改内容如下:

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.address</name>
            <value>192.168.10.11:8031</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.address</name>
            <value>192.168.10.11:8032</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.scheduler.address</name>
            <value>192.168.10.11:8034</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.webapp.address</name>
            <value>192.168.10.11:8088</value>
        </property>
        <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
        <property>
            <name>yarn.log.server.url</name>
            <value>http://node1:19888/jobhistory/logs</value>
        </property>
    </configuration>

    (4)将mapred-site.xml和yarn-site.xml发送给slave节点,执行命令如下:

    首先启动hdfs环境 接着通过JPS查看进程,发现有NameNode和DataNode:

     (6)启动YARN,启动命令和启动后的结果如下:

     注意: 如果出现如下错误: 

    ERROR: Attempting to operate on yarn resourcemanager as root
    ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
    Starting nodemanagers

    是因为共有用户定义造成的,所以分别编辑开始和关闭脚本

    $ vim sbin/start-yarn.sh 
    $ vim sbin/stop-yarn.sh 

    顶部添加

    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

    启动成功后可看到如下ui界面: 

    author@nohert
  • 相关阅读:
    如何通过logcat查看系统程序的意图
    jmeter测试本地myeclips调试状态下的tomcat程序死锁
    利用开源项目使discus论坛与java应用同步登录和注册
    hibernate映射文件基础
    长沙理工大学校园网客户端无法卸载解决办法
    26个Jquery使用小技巧
    eclipse 书签
    Notepad++ 书签
    【转】不提拔你,就因为你只想把工作做好
    自己开发开源jquery插件--给jquery.treeview加上checkbox
  • 原文地址:https://www.cnblogs.com/gzgBlog/p/13976428.html
Copyright © 2011-2022 走看看