zoukankan      html  css  js  c++  java
  • 大数据调整集群当中的磁盘占用(HDFS)和存的数据的副本数的调整

    最近刚搭建的Hadoop集群(CM),发现在通过sqoop导入数据使整个集群当中的磁盘都快占满了。这个时候考虑到需要对集群当中数据的副本数进行修改(由原来的3个副本修改为现在的1个副本)

    dfs.replication  将这个参数的值由3变为1

    然后我们在对之前到如到HDFS上面的文件进行重新设置副本数。命令如下:

    hadoop fs -setrep -R 1 /  将根目录下的文件的副本数设置为1个。

    然后我们使用CM对集群当中的资源进行平衡操作。截图如下:

    平衡之后,我们就可以看到整个集群当中磁盘的占用情况进行了改善:

    具体的截图如下:

    至此集群当中的磁盘占用没有那么多得到了有效的改善。

  • 相关阅读:
    c++的socket编程 tcp
    qt下载
    定义数组类型
    虚析构函数
    运算符重载
    友元函数
    const成员函数
    静态成员变量,静态成员函数
    linux安装mysql
    智能指针
  • 原文地址:https://www.cnblogs.com/gxgd/p/9606516.html
Copyright © 2011-2022 走看看