zoukankan      html  css  js  c++  java
  • slot的含义

    1)

    slot就是槽的意思,是一个资源单位,只有给task分配了一个slot之后,这个task才可以运行。slot分两种,map slot沪蓉reduce slot。另外,slot是一个逻辑概念,一个数据节点的slots数量既不是CPU的核数,也不是memory chip,一个节点的slot数量用来表示此节点的资源容量或是计算计算能力的大小,也就是说slot是hadoop的资源单位。

    2)

    系统中map slots总数与reduce slots总数的计算方式如下:

    map slots 总数=集群节点数*mapred.tasktracker.map.tasks.maximum(默认是2);

    reduce slots 总数=集群节点数*mapred.tasktracker.reduce.tasks.maximum(默认是2);

    当初以为slots就是节点上cpu的核数,一直搞不懂三个数据节点,总共5个cpu核,为什么会有6个map slots 、6个reduce slots:

    默认一个节点上有2个map slots,2个reduce slots。而一个slot对应一个task,所以,map task capacity、reduce task capacity的值是6。Avg.Tasks/Node就是一个节点的平均任务数量,2个map+2个reduce就是4个。

    运行的job包含42个map,由于集群总的map slots是6,所以会有22等待的map任务。

  • 相关阅读:
    ASP.NET MVC4 Web 编程第三章
    ASP.NET MVC4 Web 编程第二章
    2020.08.25日
    ASP.NET MVC4 Web 编程第一章
    .net你必须知道的事儿 2.2
    .net你必须知道的事儿 2.1
    资本论
    Cent os mysql主从同步问题
    apache启动脚本
    zentao(禅道)迁移
  • 原文地址:https://www.cnblogs.com/lz3018/p/4906611.html
Copyright © 2011-2022 走看看