zoukankan      html  css  js  c++  java
  • Hadoop实践

    1.将HDFS中的文本文件读取并以JSON格式转存到MongoDB时,报磁盘不足的异常。

    实验室的5台计算机的存储空间都在500G以上,就目前存储的数据量来看,完全达不到磁盘接近饱和的状态。通过查看HDFS的web客户端,显示如下:

    看了一下remaining,发现差别很大,首先想到的balance;其次看出dm5的总存储空间只有0.03TB,完全不正常,再看一下Linux的磁盘使用情况,让我大跌眼镜:

    根目录的挂载只有9.4G,而HDFS存储数据的文件夹就放在本地磁盘的根目录下,如下图:

    看到以上内容,应该修改本地存储目录才能解决问题。于是就有了下面的操作,将本地存储文件夹放在大一点的“房子”里:

    当然,一定要把hadoop/conf/hdfs-site.xml文件下的配置项修改一下。最后重启一下hadoop,再看一下web客户端,搞定,收工!

  • 相关阅读:
    01_计算机基础
    09_哈希表
    08_查找算法
    Swagger使用
    Thymeleaf代码实例
    Spring boot代码实例
    Spring mvc代码实例
    Hibernate代码实例
    Mysql JDBC代码实例
    Mybatis代码实例
  • 原文地址:https://www.cnblogs.com/Deron/p/3432157.html
Copyright © 2011-2022 走看看