zoukankan      html  css  js  c++  java
  • yarn搭建

    (1)编辑mapred-site.xml配置文件。

    配置文件位于Hadoop安装位置的etc/hadoop/目录下。代码如下:

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    在上面的配置中,通过设置mapreduce.framework.name的值为yarn,指明通过yarn进行资源管理。

    (2)伪分布yarn的yarn-site.xml配置文件内容如下:

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

    (3)完全分布式的yarn-site.xml修改内容如下:

    <configuration>
    
    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.address</name>
            <value>192.168.10.11:8031</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.address</name>
            <value>192.168.10.11:8032</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.scheduler.address</name>
            <value>192.168.10.11:8034</value>
        </property>
        <property>
            <name>yarn.resourcecemanager.webapp.address</name>
            <value>192.168.10.11:8088</value>
        </property>
        <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>
        <property>
            <name>yarn.log.server.url</name>
            <value>http://node1:19888/jobhistory/logs</value>
        </property>
    </configuration>

    (4)将mapred-site.xml和yarn-site.xml发送给slave节点,执行命令如下:

    首先启动hdfs环境 接着通过JPS查看进程,发现有NameNode和DataNode:

     (6)启动YARN,启动命令和启动后的结果如下:

     注意: 如果出现如下错误: 

    ERROR: Attempting to operate on yarn resourcemanager as root
    ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
    Starting nodemanagers

    是因为共有用户定义造成的,所以分别编辑开始和关闭脚本

    $ vim sbin/start-yarn.sh 
    $ vim sbin/stop-yarn.sh 

    顶部添加

    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

    启动成功后可看到如下ui界面: 

    author@nohert
  • 相关阅读:
    SqlServer数据库同步方案详解(包括跨网段)
    makefile 和shell文件相互调用
    处理百万级以上的数据处理
    makefile Template(添加多个lib)
    Linux下如何删除非空目录
    makefile Template
    g++ 编译和链接
    gcc include路径
    C++ XML解析之TinyXML篇
    利用Lucene.net搭建站内搜索(2)分词技术
  • 原文地址:https://www.cnblogs.com/gzgBlog/p/13976428.html
Copyright © 2011-2022 走看看