zoukankan      html  css  js  c++  java
  • 云计算入门和实践

    网络资源:https://yq.aliyun.com/articles/62910

    博客内容:课程笔记

    第一章 分布式调度系统

    一、分布式调度的主要作用:

    像使用台式机一样使用云计算,将成千上万台硬件的运算能力汇合起来,提供可靠的云计算服务。在台式机时代,CPU是其最重要的部分,而在云计算中,分布式调度就扮演着CPU的角色。

    第一章主要内容:

    1)阿里云飞天分布式系统

    2)任务调度系统

    3)资源调度

    4)容错机制

    5)规模挑战

    6)安全与性能隔离

    7)分布式调度的发展方向

    第一节 分布式调度系统

    分布式调度的两大任务:

    (1)任务调度:不同的业务部门在共享集群时,有大量的计算任务,任务如何切分,如何将海量的数据进行分割、在不同的节点进行运算,同时监控各个节点的运算状态。

    (2)资源调度:供应双方的供给方,平衡不同的业务部门之间的资源使用,需要支持优先级抢占

    分布式调度系统的比较:

    (1)Hadoop MapReduce;

     

    MR主从架构:

    Jod Tracker及负责资源调度,又负责任务调度,当客户端用户提交作业至资源管理器,Job Traceker会将作业分发至不同的节点,在每个节点上都设置了一个名为Task Tracker,负责任务的调度和执行。这种主从架构存在天然的集中缺陷:

    1):规模扩展存在瓶颈:Task Tracker这种节点的不断增加,在Job Tracker方面就是不断的添加内存条,会存在内存上限控制.

    2):容错性差:Job Tracker是单节点的进程,如果Job Tracker出现crash或者整个机器出现宕机,所有集群中运行的作业情况以及资源分配结果是无法恢复的.

    3):不利于功能扩展:不同的业务部门的调度策略不同(对资源的调度和使用策略不同),并且还要求支持热拔插(在不停止进程的情况下改变系统的调度)。

    (2)YARN(应对上面提到的三个不足,在Hadoop1.0版本的基础之上做出的改进,本质上就是一个资源调度器);

    YARN和Hadoop最大的不同:将任务调度和资源调度做了区分,能支撑起更大的计算规模

    但是YARN目前仅仅支持内存维度的资源调度,像磁盘、CPU、网络的资源调度都不支持。资源交互链路增加,降低YARN的性能。

    (3)Mesos;

    (4)Aliyun-Fuxi;

     

     

    第二节 任务调度

  • 相关阅读:
    机器学习 | 吴恩达斯坦福课程笔记整理之(一)线性回归
    机器学习 | 李航《统计学习方法》笔记整理之(一)统计学习方法概论
    机器学习 | 算法总结
    字符串转json数组
    js获取URL请求参数与改变src
    批量删除checkbox前台后台
    运行 jar 的问题
    ajax格式,转入后台
    from表单中checkbox的多选,ajax转入后台,后台接受
    springboot 上传图片,地址,在页面展示图片
  • 原文地址:https://www.cnblogs.com/ysw-go/p/8687968.html
Copyright © 2011-2022 走看看