zoukankan      html  css  js  c++  java
  • hadoop 异常 问题解决:NameNode is still loading. Redirecting to the Startup Progress page

    环境:apache  hadoop 2.7.2 、机器发生重启,集群异常关闭

    现象:重启hdfs和yarn服务,底层namenode和datanode都没有报错,但是在namenode的web ui上报错  198.3.100.21:50070

    NameNode is still loading. Redirecting to the Startup Progress page

    在一篇博客中有一个人这样评论:

    这种一般发生在一个namenode挂掉之后,隔一段时间重启,那么这个重启namenode需要加载到最新的fsimage,这种情况就是正常的,根据fsimage大小,加载的时间长短也是不一样的。

    我看了很多人换浏览器就ok了,很可能他们的hdfs上的数据比较少,能快速加载完毕,换浏览器的时间就加载完毕了。

    我的服务持续加载了2个小时,一直显示50%,可能是因为我的hdfs数据比较多?但是fsimage只有600k而已啊。

    等了一会老司机领导已经打电话过来了。

    描述了一下情况,领导帮忙看了一眼,说:内存问题

    修改

    修改hadoop-env.sh,对其参数进行内存调优
    扩大一下2个参数的jvm使用内存,原来是512m,改为5120M
    export HADOOP_PORTMAP_OPTS="-Xmx5120m $HADOOP_PORTMAP_OPTS"
    xport HADOOP_CLIENT_OPTS="-Xmx5120m $HADOOP_CLIENT_OPTS"
    
    
    分发配置文件
    重启
    问题解决
  • 相关阅读:
    Max关闭WPF
    InstallShield安装过程介绍
    InstallShield相关资料整理
    .net reflection的一点研究
    (转)VMware增加磁盘容量方法
    领域驱动设计《读书笔记》
    《领域驱动设计C#2008实现》读书笔记
    深入研究c++对象模型
    <转载>com之包容聚合
    基于插件开发的架构研究
  • 原文地址:https://www.cnblogs.com/students/p/12653169.html
Copyright © 2011-2022 走看看