zoukankan      html  css  js  c++  java
  • hadoop 异常 问题解决:NameNode is still loading. Redirecting to the Startup Progress page

    环境:apache  hadoop 2.7.2 、机器发生重启,集群异常关闭

    现象:重启hdfs和yarn服务,底层namenode和datanode都没有报错,但是在namenode的web ui上报错  198.3.100.21:50070

    NameNode is still loading. Redirecting to the Startup Progress page

    在一篇博客中有一个人这样评论:

    这种一般发生在一个namenode挂掉之后,隔一段时间重启,那么这个重启namenode需要加载到最新的fsimage,这种情况就是正常的,根据fsimage大小,加载的时间长短也是不一样的。

    我看了很多人换浏览器就ok了,很可能他们的hdfs上的数据比较少,能快速加载完毕,换浏览器的时间就加载完毕了。

    我的服务持续加载了2个小时,一直显示50%,可能是因为我的hdfs数据比较多?但是fsimage只有600k而已啊。

    等了一会老司机领导已经打电话过来了。

    描述了一下情况,领导帮忙看了一眼,说:内存问题

    修改

    修改hadoop-env.sh,对其参数进行内存调优
    扩大一下2个参数的jvm使用内存,原来是512m,改为5120M
    export HADOOP_PORTMAP_OPTS="-Xmx5120m $HADOOP_PORTMAP_OPTS"
    xport HADOOP_CLIENT_OPTS="-Xmx5120m $HADOOP_CLIENT_OPTS"
    
    
    分发配置文件
    重启
    问题解决
  • 相关阅读:
    MySQL 5.6 中 TIMESTAMP 的变化
    NetWork
    Esper
    maven nexus linux私服搭建
    file not found app文件
    设计模式之十五:訪问者模式(Visitor Pattern)
    邻接表 几篇不错的解说
    自己定义带三角形箭头的TextView
    linux程序调试命令addr2line之入门简单介绍(本文先不聊gdb调试)
    AndroidManifest 中android:exported
  • 原文地址:https://www.cnblogs.com/students/p/12653169.html
Copyright © 2011-2022 走看看