zoukankan      html  css  js  c++  java
  • 《基于Spark平台的资源调度策略研究现状》学习笔记

    背景

    集群资源管理,一般有计算资源、存储资源、网络资源。当前调度优化一般有基于数据本地研究与改进、负载均衡和基于作业优先级。

    基于网络资源调度策略研究现状

    大数据对网络资源的要求很高。网络资源调度,一般是基于SDN的改进。SDN,软件定义网络。使用一个控制器来使得网络达到负载均衡。对于网络资源的调度优化来达到对大数据平台调度优化。

    基于节点资源调度策略研究现状

    针对节点性能如计算能力、节点大小等调度策略等研究来达到负载均衡的目的,提高节点利用率。

    Spark资源调度原理

    Spark调度主要有两种:任务调度和资源调度。任务调度主要是通过一系列的调度器进行的作业调度,资源调度指的是实际的应用程序是如何获取资源的。

    SparkContext是调度的入口,负责与主节点通信,完成申请资源的任务,进入应用程序后,它还创建高级调度对象和底层调度对象。之后,对所有任务进行分片,并且将任务集并行化,并发送给已经获取了资源的任务执行,循环执行结果。

    总结

    当前网络资源方向的主要研究是基于SDN集中控制,收集网络资源,进而全局考虑网络资源进行调度优化。针对结点资源分配是否合理,当前的主要研究方向是只用强化学习自适应地对任务和节点进行匹配,减少运行时间。

  • 相关阅读:
    zabbix监控docker
    Ubuntu下Zabbix结合percona监控mysql数据
    centos7安装ftp
    Ubuntu 16.04 搭建 ELK
    ubuntu网卡配置及安装ssh服务
    CentOS7.5二进制安装MySQL-5.6.40
    生产环境MySQL数据库集群MHA上线实施方案
    Mysql主从复制
    GIt+jenkins代码自动上线
    虚拟机网卡丢失解决方法
  • 原文地址:https://www.cnblogs.com/chenshaowei/p/13168349.html
Copyright © 2011-2022 走看看