zoukankan      html  css  js  c++  java
  • hadoop全分布式集群搭建(4台虚拟机)

    HA高可用搭建框图

    YARN mr 2.x

       ResourceManager :只资源管理

      AppMstr 任务调度:询问ResourceManager之后先创建容器container,开辟maptask和reducetask。

      NodeManager:向RM汇报资源信息。

      RM也需要HA(高可用):通过ZooKeeper实现。

      AppMstr:不是常服务。一个job作业对应一个AppMstr。

    hadoop集群搭建(四台虚拟机)

      分布式存储:

        NN-1 namenode主结点

        NN-1 namenode备结点

        DN datanode

        ZK zookeeper

        ZKFC 在namenode上监控健康

        JNN journalnode:两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。也使得主节点active、standby状态的切换。

      计算(和存储部分的搭建实际上没什么关系):

        RS resourceManager

        NM nodeManager:管理本datanode的资源,所以要和datanode一一对应。

    hadoop启动顺序

      zkServer.sh start  启动zookeeper

      start-dfs.sh 启动namenode、datanode、journalnode、zkfc 

      start-yarn.sh 启动nodeManager

      yarn-daemon.sh start resourcemanager 启动resourceManager

    hadoop启动顺序

      yarn-daemon.sh stop resourcemanager 关闭resourceManager

      stop-all.sh

  • 相关阅读:
    H3C日志文件读取
    sql2000 转sql2008
    常用sql大全
    安装linux后,重新装windows,修复mbr引导
    SQL Server推荐使用 SET 而不是 SELECT 对变量进行赋值
    ORCLE 截取固定字符
    又是一个无聊的周未
    转一个无聊的爱情故事:如果有个女生为你哭
    Windows Mobile 6 SDK
    扩展FCKeditor
  • 原文地址:https://www.cnblogs.com/fxw-learning/p/12341558.html
Copyright © 2011-2022 走看看