内容摘自 hadoop实战书籍
如果hadoop安装完后不能运行,可以仔细查看日志信息,日志文件保存在logs文件夹内。
无论是启动,还是以后会经常用到的mapreduce中的每一个job,以及hdfs等相关信息,hadoop具存有日志文件以供分析
例如:
namenode 和 datanade namespaceId 不一致,日志信息为:
java.io.OException: Incompatible namespaceIDs in tmp/dfs/data: namenode namespaceID = 12343; datanode namespaceID=34353
hadoop3.0中是 clusterID
这个问题一般是由于两次货两次一行的格式化naenode造成的,有两种方法解决,第一种方法是删除datanode的所有资料;第二种方法是修改每个datanode的namespaceID。位于 /dfb/data/current/VERSION文件中
或者修改那么弄得的namespaceID,使其一致。
下面这两种方法再实际应用中也可能会用到。
1)重启坏掉的datanaode或者jobtracker,当hadoop集群的某单个节点出现问题是,一般不必重启整个系统,只需启动这个几点,他会自动连入整个集群
在坏死的节点输入如下命令即可:
bin/hadoop-daemon.sh start DataNode
bin/hadoop-daemon.sh start jobtracker
2)动态加入datanode货tasktracker。这个命令允许用户动态将某个节点加入集群中。
/bin/hadoop-daemon.sh --config ./conf start DataNode
bin/hadoop-daemon.sh --config ./conf start tasktracker