zoukankan      html  css  js  c++  java
  • HDFS基本Shell命令

    bin目录下:

    1. hadoop fs 基本操作命令,类似linux shell

    2. hadoop dfsadmin    管理命令

    3. hadoop fsck (1. 检查hdfs中文件的健康状况

                            2. 查找确实的块以及过少或过多的副本的块

                            3. 查看一个文件的所有数据块位置

                            4. 删除损坏的数据块)

    例子:

    $/bin/hadoop fsck /***.txt -files -blocks -locations

    4. start-balancer.sh -threshold 10%  (数据块重分布,最高的和最低的相差小于或等于10%)

    5. hadoop dfsadmin -setSpaceQuota 1T /user/username  限制一个目录最多使用的磁盘大小为1T

    6. hadoop dfsadmin -setQuota 1000 /user/username   限制一个目录最多包含的子目录和文件数

    7. hadoop dfsadmin -refreshNodes   移除一个datanode的步骤:将datanode的host或ip加入namenode的配置项dfs.hosts.exclude中,然后执行此命令

    sbin目录下:

    1. start-all.sh

    2. start-dfs.sh

    3. hadoop-deamon.sh

    4. hadoop-deamon.sh start namenode(单独启动namenode)

    5. hadoop-deamon.sh start datanode(单独启动datanode,也可以用于新增datanode)

    安全模式:

    在启动集群的过程中,hdfs集群在加载block过程中,会进入安全模式,防止用户的一些操作妨碍block加载等过程。

    hdfs dfsadmin -savemode get/leave/enter/wait

    增加节点:

    sbin/hadoop-daemon.sh start datanode

    删除节点:

    将需要移除的节点的主机名或IP加入Namenode黑名单,修改Namenode的hdfs-site.xml文件,设置dfs.hosts.exclude配置的值为需要移除的datanode的主机名或IP。

    启动集群后执行 bin/hadoop dfsadmin -refreshNodes

    sbin/start-balancer.sh -threshold 10   (10为平衡阈值,即10%,即各个节点使用的相差的最大值)

  • 相关阅读:
    Ajax
    Linux安装SmartSVN及破解
    JQuery异步提交
    动画效果
    事件
    表单选择器
    DOM操作
    JQuery基础
    PHP环境配置
    DP--钢条切割
  • 原文地址:https://www.cnblogs.com/robinYangRP/p/5587961.html
Copyright © 2011-2022 走看看