zoukankan      html  css  js  c++  java
  • hadoop 基本命令

    hdfs相关

    1.查看HDFS文件目录

    hadoop fs -ls /

    mapreduce相关

    1.查看mapred job

    mapred job -list
    hadoop job -list

     

    UsedContainers RsvdContainers UsedMem RsvdMem  NeededMem

    当usedmem达到neededmem时任务就无法执行了。

    计算方式:

    队列容量=yarn.scheduler.capacity.<queue-path>.capacity/100
    队列绝对容量=父队列的 队列绝对容量*队列容量 
    队列最大容量=yarn.scheduler.capacity.<queue-path>.maximum-capacity/100 
    队列绝对最大容量=父队列的 队列绝对最大容量*队列最大容量
    绝对资源使用比=使用的资源/全局资源
    资源使用比=使用的资源/(全局资源 * 队列绝对容量) 
    最小分配量=yarn.scheduler.minimum-allocation-mb
    用户上限=MAX(yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent,1/队列用户数量)
    用户调整因子=yarn.scheduler.capacity.<queue-path>.user-limit-factor 
    最大提交应用=yarn.scheduler.capacity.<queue-path>.maximum-applications 
        如果小于0 设置为(yarn.scheduler.capacity.maximum-applications*队列绝对容量)
    单用户最大提交应用=最大提交应用*(用户上限/100)*用户调整因子
    AM资源占比(AM可占用队列资源最大的百分比)
        =yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent
        如果为空,设置为yarn.scheduler.capacity.maximum-am-resource-percent
    最大活跃应用数量=全局总资源/最小分配量*AM资源占比*队列绝对最大容量
    单用户最大活跃应用数量=(全局总资源/最小分配量*AM资源占比*队列绝对容量)*用户上限*用户调整因子
    本地延迟分配次数=yarn.scheduler.capacity.node-locality-delay<code>

     YARN内存使用优化配置

    2.杀死任务

    mapred job -kill job_id
  • 相关阅读:
    LoadRunner11 问题记录
    安装依赖包时,编译提示依赖库未安装,但实际上已经安装
    Close_wait进程过多
    JS中的混合模式
    JS面相对象
    JS中的工厂模式
    函数式编程Map()&Reduce()
    JavaScript函数参数与调用
    JavaScript中的prototype
    循环
  • 原文地址:https://www.cnblogs.com/Dhouse/p/7145495.html
Copyright © 2011-2022 走看看