zoukankan      html  css  js  c++  java
  • Hadoop新版本中map任务待处理split大小的计算方法

    PHP:IIS下的PHP开发环境搭建

    背景

    发现书柜中有好几本PHP的图书,决定还是学学PHP,本文介绍一下在Windows环境下PHP开发环境的搭建。

    运行环境搭建

    下载和安装下面三个软件:

    1. IIS。
    2. http://php.iis.net。
    3. Dreamweaver。

    开发环境搭建

    建立IIS站点:

    建立Dreamweaver站点:

    测试开发环境

    代码

    复制代码
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml">
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <title>PHP Info</title>
    </head>
    
    <body>
    <?php phpinfo(); ?>
    </body>
    </html>
    复制代码

    运行效果

    备注

    同时使用两门语言或许会有意想不到的好处,我现在最感兴趣的是:PHP是否适用企业应用开发?

     
    分类: PHP

    Hadoop新版本中map任务待处理split大小的计算方法

    我们首先看一下split大小的计算公式:

       minSize=max{minSplitSize,mapred.min.split.size} (minSplitSize大小默认为1B)

       maxSize=mapred.max.split.size(不在配置文件中指定时大小为Long.MAX_VALUE)

       splitSize=max{minSize,min{maxSize,blockSize}}(注意,blockSize为文件在hdfs中的块大小,比如我们先配置的dfs.block.size的值为67108864,也即64MB,后向分布式文件系统中存入一个1GB大小的文件A,该文件在hdfs中的块大小为64MB;当我们更改dfs.block.size的值为33554432,即32MB是,此时A文件在分布式文件系统中的blockSize仍为64M,切记啊,这个就曾迷糊俺好长时间.....)

        mapred.min.split.size、mapred.max.split.size、blockSize均可以再配置文件中配置,前面两个在mapred-site.xml中,最后一个可在在hdfs-site.xml中进行配置,单位均为B。

        map数是这样计算出来的,如下所示:

        文件大小/splitSize>1.1,创建一个split0,文件剩余大小=文件大小-splitSize

        .....

        剩余文件大小/splitSize<=1.1 将剩余的部分作为一个split

       每一个分片对应一个map任务,这样map任务的数目也就显而易见啦。

     
     
     
    标签: Hadoop
  • 相关阅读:
    leetcode刷题
    剑指offer题解
    哈夫曼树和哈夫曼编码
    HashMap的扩容机制---resize()
    缓存穿透,缓存击穿,缓存雪崩解决方案分析
    字符串的排列组合问题
    乐观锁与悲观锁以及乐观锁的一种实现方式-CAS
    HTTP相关
    零散知识点
    Java大数相加
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/3251975.html
Copyright © 2011-2022 走看看