zoukankan      html  css  js  c++  java
  • YARN 高可用机制

    YARN 的高可用:
    ResourceManager : 基于Zookeeper 实现高可用机制,避免单点故障。

    NodeManager: 执行失败之后,ResourceManager 将失败任务告诉对应的ApplicationMaster , 由ApplicationMaster 来决定如何处理失败的任务。

    ApplicationMaster: 执行失败之后,由ResourceManager 负责重启;ApplicationMaster 需处理内部的容错问题,并保存已经运行完成的Task , 重启后无需重新运行。

    作为通用的、统一的资源管理系统,YARN可以:
    1、同时运行长应用程序(比如Service, HTTP Server)
    2、运行短应用程序(MapReduce job、Spark job 等等)

    在引入了YARN之后,可以在YARN上运行各种不同框架的作业:
    离线计算框架:MapReduce
    流式计算框架:Storm
    内存计算框架:Spark

    YARN 生态圈:

    参考资料:大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍  http://blog.51cto.com/gridmix/1731744

  • 相关阅读:
    软链接
    yum
    vm
    tengine
    创智LIUNX
    作业11
    作业10
    作业9
    作业8
    作业7
  • 原文地址:https://www.cnblogs.com/wbringarden/p/10250935.html
Copyright © 2011-2022 走看看