zoukankan      html  css  js  c++  java
  • 云计算入门和实践

    网络资源:https://yq.aliyun.com/articles/62910

    博客内容:课程笔记

    第一章 分布式调度系统

    一、分布式调度的主要作用:

    像使用台式机一样使用云计算,将成千上万台硬件的运算能力汇合起来,提供可靠的云计算服务。在台式机时代,CPU是其最重要的部分,而在云计算中,分布式调度就扮演着CPU的角色。

    第一章主要内容:

    1)阿里云飞天分布式系统

    2)任务调度系统

    3)资源调度

    4)容错机制

    5)规模挑战

    6)安全与性能隔离

    7)分布式调度的发展方向

    第一节 分布式调度系统

    分布式调度的两大任务:

    (1)任务调度:不同的业务部门在共享集群时,有大量的计算任务,任务如何切分,如何将海量的数据进行分割、在不同的节点进行运算,同时监控各个节点的运算状态。

    (2)资源调度:供应双方的供给方,平衡不同的业务部门之间的资源使用,需要支持优先级抢占

    分布式调度系统的比较:

    (1)Hadoop MapReduce;

     

    MR主从架构:

    Jod Tracker及负责资源调度,又负责任务调度,当客户端用户提交作业至资源管理器,Job Traceker会将作业分发至不同的节点,在每个节点上都设置了一个名为Task Tracker,负责任务的调度和执行。这种主从架构存在天然的集中缺陷:

    1):规模扩展存在瓶颈:Task Tracker这种节点的不断增加,在Job Tracker方面就是不断的添加内存条,会存在内存上限控制.

    2):容错性差:Job Tracker是单节点的进程,如果Job Tracker出现crash或者整个机器出现宕机,所有集群中运行的作业情况以及资源分配结果是无法恢复的.

    3):不利于功能扩展:不同的业务部门的调度策略不同(对资源的调度和使用策略不同),并且还要求支持热拔插(在不停止进程的情况下改变系统的调度)。

    (2)YARN(应对上面提到的三个不足,在Hadoop1.0版本的基础之上做出的改进,本质上就是一个资源调度器);

    YARN和Hadoop最大的不同:将任务调度和资源调度做了区分,能支撑起更大的计算规模

    但是YARN目前仅仅支持内存维度的资源调度,像磁盘、CPU、网络的资源调度都不支持。资源交互链路增加,降低YARN的性能。

    (3)Mesos;

    (4)Aliyun-Fuxi;

     

     

    第二节 任务调度

  • 相关阅读:
    Leetcode 1489找到最小生成树李关键边和伪关键边
    Leetcode 113 路径总和 II
    hdu 1223 还是畅通工程
    hdu 1087 Super Jumping! Jumping! Jumping!
    hdu 1008 Elevator
    hdu 1037 Keep on Truckin'
    湖工oj 1241 畅通工程
    湖工oj 1162 大武汉局域网
    hdu 2057 A + B Again
    poj 2236 Wireless Network
  • 原文地址:https://www.cnblogs.com/ysw-go/p/8687968.html
Copyright © 2011-2022 走看看