zoukankan      html  css  js  c++  java
  • Hadoop中Partitoner类原理的讲解

    package hadoop;
    
    /**
     * @ClassName HadoopUtils
     * @Description Hadoop中的Partitioner类的讲解说明
     * @Author Administrator
     * @Date 2019/7/10 10:36
     * @Version 1.0
     **/
    public class HadoopUtils {
    
        /**
         * 计算当前月份+星期得到的索引应该分配到哪个reducers节点上
         * @param month 月份
         * @param dayOfWeek 一周中的哪天
         * @param indexRange 索引的范围
         * @param noOfReducers reducers的数量
         */
        public static int getPartition(int month, int dayOfWeek, int indexRange, int noOfReducers) {
            int indicesPerReducer = (int) Math.floor(indexRange / noOfReducers);//Math.floor(11.5)=11
            int index = (month - 1) * 7 + (7 - dayOfWeek);
    
            /**
             * 索引的范围小于reducers的数量
             */
            if (indexRange < noOfReducers) {
                return index;
            }
    
            /**
             * 计算当前月份+星期得到的索引应该分配到哪个reducers节点上
             */
            for (int i = 0; i < noOfReducers; i++) {
                int minValForPartitionInclusive = (i) * indicesPerReducer;
                int maxValForPartitionExclusive = (i + 1) * indicesPerReducer;
                if (index >= minValForPartitionInclusive && index < maxValForPartitionExclusive) {
                    return i;
                }
            }
        }
    }
    

      

  • 相关阅读:
    4.Spring系列之Bean的配置1
    3.Spring系列之IOC&DI
    2.Spring系列之HelloWorld
    1.spring系列之简要概述
    SVN 安装与使用
    6.用CXF编写基于Spring的WebService
    5.webService拦截器
    4.CXF所支持的数据类型
    APP消息推送及疑问解答
    VMware安装CentOS
  • 原文地址:https://www.cnblogs.com/wylwyl/p/11162408.html
Copyright © 2011-2022 走看看