zoukankan      html  css  js  c++  java
  • 配置YARN

    1.配置yarn-site.xml(所有节点)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
      配置项:
        <property>
          <!-- 指明resourcemanager在什么地方 -->
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
        </property>

        <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
        </property>

        <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    2.配置mapred-site.xml(所有节点)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/mapred-site.xml
      配置项目:
        <property>
          <!-- 指明mapreduce跑在什么框架上,不配默认本机 -->
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
      说明:
        默认没有mapred-site.xml文件,但是有一个mapred-site.xml.template,cp改名一个就好了
    3.单独启动YARN
      在每个节点上执行:yarn-daemon.sh
    4.一键启动YARN
      在master上执行:start-yarn.sh
    5.Web监控地址(8088端口)
      http://192.168.0.104:8088/cluster
      如果启动不成功,参看"启动hadoop集群"里面写的"一键式启动"那里的配置,原理是一样的,这里也要配
    6.查看每个node的配置,以及配置来源
      http://nodemanageraddress:8042/conf
      例如:http://192.168.0.105:8042/conf

    备注:

      yarn-site如果是集中启动,其实只需要在管理机上配置一份即可,但是如果单独启动,需要每台机器一份

  • 相关阅读:
    造数据
    自定义注解
    利用线程池,同步线程实现并发
    ThreadPoolExecutor 线程池
    velocity 模板
    [python] 解析xml文件
    url 中需要转义的字符
    Appium 坑
    TestNG 101
    【python】print · sys.stdout · sys.stderr
  • 原文地址:https://www.cnblogs.com/413xiaol/p/9961022.html
Copyright © 2011-2022 走看看