zoukankan      html  css  js  c++  java
  • Yarn篇--搭建yarn集群

    一。前述

    有了上次hadoop集群的搭建,搭建yarn就简单多了。废话不多说,直接来

    二。规划

     三。配置如下

    yarn-site.xml配置

     <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>//定义yarn的机制
        </property>
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
       <value>true</value>
     </property>
     <property>
       <name>yarn.resourcemanager.cluster-id</name//集群Id
       <value>cluster1</value>
     </property>
     <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>//集群逻辑节点
       <value>rm1,rm2</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm1</name>//集群物理节点
       <value>node03</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm2</name>//集群物理节点
       <value>node04</value>
     </property>
     <property>
       <name>yarn.resourcemanager.zk-address</name>//与zookeeper通信
       <value>node02:2181,node03:2181,node04:2181</value>
     </property>


    mapred-site.xm配置
    <property>
            <name>mapreduce.framework.name</name>//使用yran
            <value>yarn</value>
      </property>
    PS  :slaves中既是datanode配置同时也是nodemanger的配置

    四。配置免密

    同样需要配置resourcemange到nodemanager的免密 和两个resourcemanger的免密
    五。启动顺序
    养成一个好习惯,先把集群停掉,然后再添加配置,(其实不停也行)

    先在node01节点上手动先启动hdfs集群start-dfs.sh

    node01然后再启动yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理)

    然后再在node03和node04手动启动resourcemanger

    yarn-daemon.sh start resourcemanager

    六。验证

    自此集群搭建成功!!!

    持续更新中。。。。,欢迎大家关注我的公众号LHWorld.

  • 相关阅读:
    三大范式
    html 横线的代码
    CSS下拉 菜单3.27第一次
    JS页面三种打开方式及对话框
    函数整理
    3.22整理作业
    for循环,if 练习
    php测试题
    设计模式
    面向对象的三大特性
  • 原文地址:https://www.cnblogs.com/LHWorldBlog/p/8219453.html
Copyright © 2011-2022 走看看