zoukankan      html  css  js  c++  java
  • 中间结果占满了磁盘空间

    1.准备文件(200M)

    2.跑MapReduce

    3.map阶段48%卡主不动

    4.强制杀死进程

    hadoop jar -kill id号

    5.再次启动报错,资源不足,namenode进入安全模式,强制解除安全模式没有效果

    hadoop dfsadmin -safemode leave

    6.使用df -hT  ,发现磁盘空间占满,经过百度,使用du -sh ./* 发现是hadoop下的data目录下的一个文件把磁盘都使用了,这是一个mapreduce的一个中间结果

    7.删除中间结果文件,再次使用df -hT查看,磁盘正常

    8.能正常启动mapreduce

    9.J哥说使用hdfs fsck / 查看 然后使用 hdfs dfs -rm -r -skipTrash 文件名 删除相应的文件

    10.教训,学习环境下不要使用超过10M的文件

    学习中,博客都是自己学习用的笔记,持续更新改正。。。
  • 相关阅读:
    第七周作业
    第六周作业
    CSS
    12 week work
    7 week work
    6 week work 3
    6 week work 2
    6 week work 1
    常用的网络服务小总结
    网络基础设置
  • 原文地址:https://www.cnblogs.com/Tunan-Ki/p/11870294.html
Copyright © 2011-2022 走看看