zoukankan      html  css  js  c++  java
  • HDFS常用命令

    1. 文件操作

    (1) 列出HDFS下的文件

    /usr/local/hadoop$bin/hadoop dfs -ls

    (2) 列出HDFS文件下名为in的文档中的文件

    /usr/local/hadoop$bin/hadoop dfs -ls in

    (3) 上传文件

    将hadoop目录下的test1文件上传到HDFS上并重命名为test:

    /usr/local/hadoop$bin/hadoop dfs -put test1 test

    (4) 文件被复制到本地系统中

    将HDFS中的in文件复制到本地系统并命名为getin:

    /usr/local/hadoop$bin/hadoop dfs -get in getin

    (5) 删除文档

    删除HDFS下名为out的文档:

    /usr/local/hadoop$bin/hadoop dfs -rmr out

    (6) 查看文件

    查看HDFS下in文件中的内容:

    /usr/local/hadoop$bin/hadoop dfs -cat in/*

    (7) 建立目录

    /usr/local/hadoop$bin/hadoop dfs -mkdir /user/hadoop/examples(目录/目录名)

    只能一级一级的建目录。

    (8) 复制文件

    /usr/local/hadoop$bin/hadoop dfs -copyFromLocal 源路径 路径

    (9)通过Hadoop命令把两个文件的内容合并起来

    hdfs dfs -getmerge 位于hdfs中的原文件(里面有多个文件) 合并后的文件名
    例如: hdfs dfs
    -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult

     注:合并后的文件位于当前目录,不在hdfs中,是本地文件

    2. 管理与更新

    (1) 执行基本信息

    查看HDFS的基本统计信息:

    /usr/local/hadoop$bin/hadoop dfsadmin -report

    (2) 退出安全模式

    NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态,在这个阶段,文件系统不允许有任何修改。

    系统显示Name node in safe mode,说明系统正处于安全模式,这时只需要等待十几秒即可,也可通过下面的命令退出安全模式:

    /usr/local/hadoop$bin/hadoop dfsadmin -safemode leave

    (3) 进入安全模式

    在必要情况下,可以通过以下命令把HDFS置于安全模式:

    /usr/local/hadoop$bin/hadoop dfsadmin -safemode enter

    (4)节点添加

    添加一个新的DataNode节点,先在新加节点上安装好Hadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改$HADOOP_HOME/conf/master文件,加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件,加入新节点名,再建立新加节点无密码的SSH连接,运行启动命令为:

    /usr/local/hadoop$bin/start-all.sh

    (5)负载均衡

    HDFS的数据在各个DataNode中的分布可能很不均匀,尤其是在DataNode节点出现故障或新增DataNode节点时。新增数据块时NameNode对DataNode节点的选择策略也有可能导致数据块分布不均匀。用户可以使用命令重新平衡DataNode上的数据块的分布:

    /usr/local/hadoop$bin/start-balancer.sh
  • 相关阅读:
    Linux文件属性
    [Oracle] Listener的动态注册
    jQuery easyUI Pagination控件自定义div分页(不用datagrid)
    桂林电子科技大学出校流量控制器Android版1.0.0
    php使用check box
    Python windows ping
    Python selenium chrome 环境配置
    Linux wget auto login and backup database
    PyQt4 ShowHMDB show sqlite3 with QTableWidget summary
    PyQt4 py2exe 打包 HardwareManager
  • 原文地址:https://www.cnblogs.com/gaopeng527/p/4314215.html
Copyright © 2011-2022 走看看