zoukankan      html  css  js  c++  java
  • Yarn篇--搭建yarn集群

    一。前述

    有了上次hadoop集群的搭建,搭建yarn就简单多了。废话不多说,直接来

    二。规划

     三。配置如下

    yarn-site.xml配置

     <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>//定义yarn的机制
        </property>
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
       <value>true</value>
     </property>
     <property>
       <name>yarn.resourcemanager.cluster-id</name//集群Id
       <value>cluster1</value>
     </property>
     <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>//集群逻辑节点
       <value>rm1,rm2</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm1</name>//集群物理节点
       <value>node03</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm2</name>//集群物理节点
       <value>node04</value>
     </property>
     <property>
       <name>yarn.resourcemanager.zk-address</name>//与zookeeper通信
       <value>node02:2181,node03:2181,node04:2181</value>
     </property>


    mapred-site.xm配置
    <property>
            <name>mapreduce.framework.name</name>//使用yran
            <value>yarn</value>
      </property>
    PS  :slaves中既是datanode配置同时也是nodemanger的配置

    四。配置免密

    同样需要配置resourcemange到nodemanager的免密 和两个resourcemanger的免密
    五。启动顺序
    养成一个好习惯,先把集群停掉,然后再添加配置,(其实不停也行)

    先在node01节点上手动先启动hdfs集群start-dfs.sh

    node01然后再启动yarn集群 start-yarn.sh(Nodemanager也是由slaves文件管理)

    然后再在node03和node04手动启动resourcemanger

    yarn-daemon.sh start resourcemanager

    六。验证

    自此集群搭建成功!!!

    持续更新中。。。。,欢迎大家关注我的公众号LHWorld.

  • 相关阅读:
    OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算)
    Oracle exp导出加where指定条件
    oracle merge into的用法
    Oracle列转行函数LISTAGG() WITHIN GROUP ()的使用方法
    sql怎样查一个存储过程被谁调用
    Oracle JOB间隔时间详解
    如何在ORACLE下创建JOB,并且赋予ID号?
    DOS下查看进程对应的文件路径
    查询系统中运行的JOB
    plsql中书写一个简单的存储过程
  • 原文地址:https://www.cnblogs.com/LHWorldBlog/p/8219453.html
Copyright © 2011-2022 走看看