zoukankan      html  css  js  c++  java
  • 日志分析及几个小技巧

    内容摘自 hadoop实战书籍

    如果hadoop安装完后不能运行,可以仔细查看日志信息,日志文件保存在logs文件夹内。

    无论是启动,还是以后会经常用到的mapreduce中的每一个job,以及hdfs等相关信息,hadoop具存有日志文件以供分析

    例如:

    namenode 和 datanade namespaceId 不一致,日志信息为:

    java.io.OException: Incompatible namespaceIDs in  tmp/dfs/data: namenode namespaceID = 12343; datanode namespaceID=34353

    hadoop3.0中是 clusterID

    这个问题一般是由于两次货两次一行的格式化naenode造成的,有两种方法解决,第一种方法是删除datanode的所有资料;第二种方法是修改每个datanode的namespaceID。位于 /dfb/data/current/VERSION文件中

    或者修改那么弄得的namespaceID,使其一致。

    下面这两种方法再实际应用中也可能会用到。

    1)重启坏掉的datanaode或者jobtracker,当hadoop集群的某单个节点出现问题是,一般不必重启整个系统,只需启动这个几点,他会自动连入整个集群

    在坏死的节点输入如下命令即可:

    bin/hadoop-daemon.sh start DataNode

    bin/hadoop-daemon.sh start jobtracker

    2)动态加入datanode货tasktracker。这个命令允许用户动态将某个节点加入集群中。

    /bin/hadoop-daemon.sh --config ./conf start DataNode

    bin/hadoop-daemon.sh --config ./conf start tasktracker

    在尝试学习新的语言之前先理解这门语言的设计原理能够让你在探索这门新语言时保持一个清醒而且开发的状态。
  • 相关阅读:
    自定义开关ToggleButton
    随手画圆
    Listview多条目展示
    全选和反选
    Android中购物车的全选、反选、问题和计算价格
    PullToRefreshListView上拉加载、下拉刷新 eclipse项目
    PullToRefreshListView上拉加载、下拉刷新
    有价证券secuerity英语
    证券secuerity经济术语
    英语secuerity证券
  • 原文地址:https://www.cnblogs.com/jackchen001/p/6405337.html
Copyright © 2011-2022 走看看