zoukankan      html  css  js  c++  java
  • hadoop运行测试命令遇到的问题

    2017-02-16 09:46:14,926 INFO mapreduce.Job: Task Id : attempt_1487148856575_0001_m_000001_0, Status : FAILED
    Container [pid=20189,containerID=container_1487148856575_0001_01_000003] is running beyond virtual memory limits. Current usage: 142.9 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.

    临时解决办法:

    yarn-site.xml文件中增加配置
        <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>2000</value>
        </property>
        <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>1600</value>
        </property>
        <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>500</value>
        </property>
        <property>
            <name>mapreduce.reduce.memory.mb</name>
            <value>500</value>
        </property>

    原由:

    http://blog.chinaunix.net/uid-25691489-id-5587957.html

    错误Name node is in safe mode的解决方法

    将本地文件拷贝到hdfs上去,结果上错误:Name node is in safe mode

    这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。

    可以通过以下命令来手动离开安全模式:

    1. bin/hadoop dfsadmin -safemode leave  

    用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
    enter - 进入安全模式
    leave - 强制NameNode离开安全模式
    get - 返回安全模式是否开启的信息
    wait - 等待,一直到安全模式结束。

    在尝试学习新的语言之前先理解这门语言的设计原理能够让你在探索这门新语言时保持一个清醒而且开发的状态。
  • 相关阅读:
    Vue监听器、过滤器
    Vue生命周期、计算属性
    数组去重
    ES6总结
    学习笔记--html篇(1)
    学习整理--flex布局(1)
    对块作用域与变量函数提升再添新认识
    了解使用web workers
    js中的事件循环模型与特殊的定时器
    操作系统、浏览器与js之间的一些概念与联系
  • 原文地址:https://www.cnblogs.com/jackchen001/p/6405898.html
Copyright © 2011-2022 走看看