zoukankan      html  css  js  c++  java
  • HDFS分布式文件系统的常用命令行操作

    一、HDFS的客户端种类

      1.网页形式  =>用于测试

        网址为你的namenode节点的ip+50070的端口号,如:

        192.168.50.128:50070

      2.命令行形式 =>用于测试

      3.企业级API

    二、HDFS客户端的命令行操作

      注释:/hdfs为HDFS上的目录  /root/linux为本地集群路径

      1.查看帮助

        hdfs dfs -help

      2.查看目录下的信息

        hdfs dfs -ls /

        hdfs dfs -ls -R /  (查看根目录下所有文件和目录)

      3.上传文件到HDFS集群

        hdfs dfs -put /root/Linux/Dilireba.txt /hdfs  (复制)

        hdfs dfs -moveFormLocal /root/Linux/a.txt /hdfs/a.txt  (剪切)

      4.下载文件到本地

        hdfs dfs -get /hdfs/a.txt /root/linux/a.txt

      5.合并下载

        hdfs dfs -getmerge /hdfs /root/linux/aa.txt

      6.创建目录

        hdfs dfs -mkdir /wyh

        hdfs dfs -mkdir -p /wyh/dilireba/love  (多级创建)

      7.移动/重命名HDFS中的文件或目录

        hdfs dfs -mv /hdfs/a.txt /hdfs/out/a.txt  移动

        hdfs dfs -mv /hdfs/a.txt /hdfs/b.txt  重命名

      8.复制HDFS文件到目标路径

        hdfs dfs -cp /hdfs/a.txt /hunter

      9.删除文件或目录

        hdfs dfs -rm /hdfs/a.txt

        hdfs dfs -rm -r /hdfs

      10.查看HDFS中的文件

        hdfs dfs -cat /hdfs/a.txt

        hdfs dfs -tail -10 /hdfs/a.txt  查看后十行数据

      11.查看目录中的文件、目录的数量和大小

        hdfs dfs -count /hdfs

      12.查看HDFS的总空间

        hdfs dfs -df /    以字节为单位

        hdfs dfs -df -h /     智能单位,可读性高

      13.修改某文件的副本数

        hdfs dfs -setrep 2 /hdfs/a.txt  修改a.txt文件副本数为2,默认为3

      14.开启/关闭HDFS的安全模式

        hdfs dfsadmin -safemode enter/leave

      

  • 相关阅读:
    from...import...导入模块
    import 导入模块
    模块介绍
    面向过程编程
    生成器表达式
    maven打包项目到nexus私服
    Centos安装solr-5.5.5.tgz
    记录一个spring框架搭建的错误
    dubbo、zookeeper和spring整合
    Centos安装配置weblogic
  • 原文地址:https://www.cnblogs.com/HelloBigTable/p/10578959.html
Copyright © 2011-2022 走看看