zoukankan      html  css  js  c++  java
  • hadoop运行测试命令遇到的问题

    2017-02-16 09:46:14,926 INFO mapreduce.Job: Task Id : attempt_1487148856575_0001_m_000001_0, Status : FAILED
    Container [pid=20189,containerID=container_1487148856575_0001_01_000003] is running beyond virtual memory limits. Current usage: 142.9 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.

    临时解决办法:

    yarn-site.xml文件中增加配置
        <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>2000</value>
        </property>
        <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>1600</value>
        </property>
        <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>500</value>
        </property>
        <property>
            <name>mapreduce.reduce.memory.mb</name>
            <value>500</value>
        </property>

    原由:

    http://blog.chinaunix.net/uid-25691489-id-5587957.html

    错误Name node is in safe mode的解决方法

    将本地文件拷贝到hdfs上去,结果上错误:Name node is in safe mode

    这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示,只需要等待一会儿即可。

    可以通过以下命令来手动离开安全模式:

    1. bin/hadoop dfsadmin -safemode leave  

    用户可以通过dfsadmin -safemode value 来操作安全模式,参数value的说明如下:
    enter - 进入安全模式
    leave - 强制NameNode离开安全模式
    get - 返回安全模式是否开启的信息
    wait - 等待,一直到安全模式结束。

    在尝试学习新的语言之前先理解这门语言的设计原理能够让你在探索这门新语言时保持一个清醒而且开发的状态。
  • 相关阅读:
    Python 使用 environs 库来更好地定义环境变量
    五分钟带你了解map、reduce和filter
    部署React前端和Django后端的3种方法
    marshmallow库更优雅的数据转换
    利用 attrs 和 cattrs 两个库实现 Python 面向对象编程
    parse库,更友好的格式化数据提取方案
    python之prettytable模块格式化打印
    使用类型注解让 Python 代码更易读
    jksj算法训练营-第三课01 数组、链表、跳表
    linux安装java步骤
  • 原文地址:https://www.cnblogs.com/jackchen001/p/6405898.html
Copyright © 2011-2022 走看看