zoukankan      html  css  js  c++  java
  • 配置YARN

    1.配置yarn-site.xml(所有节点)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
      配置项:
        <property>
          <!-- 指明resourcemanager在什么地方 -->
          <name>yarn.resourcemanager.hostname</name>
          <value>master</value>
        </property>

        <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
        </property>

        <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    2.配置mapred-site.xml(所有节点)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/mapred-site.xml
      配置项目:
        <property>
          <!-- 指明mapreduce跑在什么框架上,不配默认本机 -->
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
      说明:
        默认没有mapred-site.xml文件,但是有一个mapred-site.xml.template,cp改名一个就好了
    3.单独启动YARN
      在每个节点上执行:yarn-daemon.sh
    4.一键启动YARN
      在master上执行:start-yarn.sh
    5.Web监控地址(8088端口)
      http://192.168.0.104:8088/cluster
      如果启动不成功,参看"启动hadoop集群"里面写的"一键式启动"那里的配置,原理是一样的,这里也要配
    6.查看每个node的配置,以及配置来源
      http://nodemanageraddress:8042/conf
      例如:http://192.168.0.105:8042/conf

    备注:

      yarn-site如果是集中启动,其实只需要在管理机上配置一份即可,但是如果单独启动,需要每台机器一份

  • 相关阅读:
    IIS6.0PUT漏洞的利用
    练习1--利用python获取百度前3页搜索结果(可更改页数)
    笔记整理6——用python实现IP流量分析
    Django ORM 那些相关操作
    Django 中得ORM介绍和字段及字段参数
    Django 的 路由系统
    Django
    Django 的 之 视图
    Django 框架
    Django 中ORM 的使用
  • 原文地址:https://www.cnblogs.com/413xiaol/p/9961022.html
Copyright © 2011-2022 走看看