zoukankan      html  css  js  c++  java
  • Hadoop中Partitoner类原理的讲解

    package hadoop;
    
    /**
     * @ClassName HadoopUtils
     * @Description Hadoop中的Partitioner类的讲解说明
     * @Author Administrator
     * @Date 2019/7/10 10:36
     * @Version 1.0
     **/
    public class HadoopUtils {
    
        /**
         * 计算当前月份+星期得到的索引应该分配到哪个reducers节点上
         * @param month 月份
         * @param dayOfWeek 一周中的哪天
         * @param indexRange 索引的范围
         * @param noOfReducers reducers的数量
         */
        public static int getPartition(int month, int dayOfWeek, int indexRange, int noOfReducers) {
            int indicesPerReducer = (int) Math.floor(indexRange / noOfReducers);//Math.floor(11.5)=11
            int index = (month - 1) * 7 + (7 - dayOfWeek);
    
            /**
             * 索引的范围小于reducers的数量
             */
            if (indexRange < noOfReducers) {
                return index;
            }
    
            /**
             * 计算当前月份+星期得到的索引应该分配到哪个reducers节点上
             */
            for (int i = 0; i < noOfReducers; i++) {
                int minValForPartitionInclusive = (i) * indicesPerReducer;
                int maxValForPartitionExclusive = (i + 1) * indicesPerReducer;
                if (index >= minValForPartitionInclusive && index < maxValForPartitionExclusive) {
                    return i;
                }
            }
        }
    }
    

      

  • 相关阅读:
    【转】QT创建子对话框的方法
    IplImage转为Mat的方法
    浅谈Android选项卡(二)
    浅谈Android选项卡(一)
    Android来电、去电监听
    文件加密
    Java实现文件重命名
    使用单个httpclient实例请求数据。
    获取Android状态栏的高度
    [置顶] 微软翻译接口
  • 原文地址:https://www.cnblogs.com/wylwyl/p/11162408.html
Copyright © 2011-2022 走看看