zoukankan      html  css  js  c++  java
  • 运行大型作业速度优化方案

         conf.set("dfs.datanode.socket.write.timeout", "7200000");
            //Configuration.deprecation: dfs.socket.timeout is deprecated. Instead, use dfs.client.socket-timeout
            conf.set("dfs.client.socket-timeout", "7200000");
            //Default 0.7, JavaHeapSize在总的堆大小中shuffle占内存的百分比
            conf.set("mapreduce.reduce.shuffle.input.buffer.percent", "0.6");
            //Default 0.25, a single shuffle use max memory percent
            conf.set("mapreduce.reduce.shuffle.memory.limit.percent", "0.10");
            //当遇到超大文件时,将默认的128MB改为最小切分块为256MB。mapreduce.min.split.size属性已废弃,使用新API属性mapreduce.input.fileinputformat.split.minsize/FileInputFormat.setMinInputSplitSize(job, 268435456);
            conf.set("mapreduce.input.fileinputformat.split.minsize", "268435456");
            //当遇到超大文件时,将默认的128MB改为最大切分块为512MB。mapreduce.max.split.size属性已废弃,使用新API属性mapreduce.input.fileinputformat.split.maxsize/FileInputFormat.setMaxInputSplitSize(job, 536870912);
            conf.set("mapreduce.input.fileinputformat.split.maxsize", "536870912");

  • 相关阅读:
    100篇论文
    Tengine vs openresty
    Dottrace跟踪代码执行时间
    Linux Server
    Linux+Apache+Mysql+Php
    linux+nginx+mysql+php
    tshark命令行的使用(转)
    tcpdump VS tshark用法(转)
    Lua语言在Wireshark中使用(转)
    doc-remote-debugging.html
  • 原文地址:https://www.cnblogs.com/mengyao/p/4493736.html
Copyright © 2011-2022 走看看