zoukankan      html  css  js  c++  java
  • 配置YARN

    1.配置yarn-site.xml(所有节点)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
      配置项:
        <property>
          <!-- 指明resourcemanager在什么地方 -->
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
        </property>

        <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
        </property>

        <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    2.配置mapred-site.xml(所有节点)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/mapred-site.xml
      配置项目:
        <property>
          <!-- 指明mapreduce跑在什么框架上,不配默认本机 -->
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
      说明:
        默认没有mapred-site.xml文件,但是有一个mapred-site.xml.template,cp改名一个就好了
    3.单独启动YARN
      在每个节点上执行:yarn-daemon.sh
    4.一键启动YARN
      在master上执行:start-yarn.sh
    5.Web监控地址(8088端口)
      http://192.168.0.104:8088/cluster
      如果启动不成功,参看"启动hadoop集群"里面写的"一键式启动"那里的配置,原理是一样的,这里也要配
    6.查看每个node的配置,以及配置来源
      http://nodemanageraddress:8042/conf
      例如:http://192.168.0.105:8042/conf

    备注:

      yarn-site如果是集中启动,其实只需要在管理机上配置一份即可,但是如果单独启动,需要每台机器一份

  • 相关阅读:
    当前流行的智能硬件产品整理
    一个桌面视频录制利器推荐--Snagit
    微信支付---退款的坑
    微信支付退款证书服务器配置
    Git安装和TortoiseGit详细使用教程【基础篇】
    通俗易懂,什么是.NET Core以及.NET Core能做什么
    向ASP.NET Core迁移
    SQLServer 查看SQL语句的执行时间
    SqlServer 2014 Enterprise 企业版下载与安装教程(附图片)
    SQL Server表分区
  • 原文地址:https://www.cnblogs.com/413xiaol/p/9961022.html
Copyright © 2011-2022 走看看