zoukankan      html  css  js  c++  java
  • Hadoop如何修改HDFS文件存储块大小

    一、 临时修改可以在执行上传文件命令时,显示地指定存储的块大小。
    1. 查看当前 HDFS文件块大小
    我这里查看HDFS上的TEST目录下的jdk-7u25-linux-x64.gz  文件存储块大小。
    1.1 终端命令方式查看
    [xiaoyu@hadoop02 hadoop-1.1.2]$ ./bin/hadoop fs -stat "%o" TEST/jdk-7u25-linux-x64.gz
    51200
    单位为B(字节)
    1.2  或页面方式查看
    打开haddop datanode节点的hdfs监控页面:
    http://hadoop01:50070
    Hadoop如何修改HDFS文件存储块大小Hadoop如何修改HDFS文件存储块大小

    如下所示:

    Hadoop如何修改HDFS文件存储块大小


    二、永久修改
    这个需要修改hdfs-site.conf配置文件,增加全局参数dfs.block.size。
    如下:

    修改后参数

    Hadoop如何修改HDFS文件存储块大小

    把配置同步到其它节点,并重启hdfs。
    [xiaoyu@hadoop02 hadoop-1.1.2]$ bin/stop-dfs.sh
    no namenode to stop
    hadoop02: stopping datanode
    hadoop01: stopping secondarynamenode
    [xiaoyu@hadoop02 hadoop-1.1.2]$ bin/start-dfs.sh
    starting namenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-namenode-hadoop02.out
    hadoop02: starting datanode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-datanode-hadoop02.out
    hadoop01: starting secondarynamenode, logging to /home/xiaoyu/hadoop-1.1.2/libexec/../logs/hadoop-xiaoyu-secondarynamenode-hadoop01.out

    重新查看TEST/jdk-7u25-linux-x64.gz 文件存储的块大小:

    Hadoop如何修改HDFS文件存储块大小

    重新上传文件到HDFS,并重命名为 比较用_jdk-7u25-linux-x64.gz

    Hadoop如何修改HDFS文件存储块大小

  • 相关阅读:
    BZOJ 2005 能量采集
    HDU 2841 Visible Trees(莫比乌斯反演)
    hihocoder 1543
    hihocoder 1311
    hdu 6069
    hdu 6058
    hdu 6034
    拓展欧几里得
    poj 3321
    树状数组总结
  • 原文地址:https://www.cnblogs.com/dadadechengzi/p/6688303.html
Copyright © 2011-2022 走看看