zoukankan      html  css  js  c++  java
  • 记录Hadoop的常用基本命令

    1、    创建目录
    [hadoop@sys01 hadoop]$hdfs dfs -mkdir /test
        在HDFS中创建一个名为file的目录,如果它的上级目录不存在,也会被创建,如同linux中的mkidr -p。
        2、将本地目录或文件上传到HDFS
            [hadoop@sys01 hadoop]$hdfs dfs -put test.txt /test
        3、从HDFS下载文件或目录到本地(/test)
            [hadoop@sys01 hadoop]$hdfs dfs -get /test/test.txt /test
        4、查看HDFS下目录内容,包括文件名、权限、所有者、大小和修改时间
            [hadoop@sys01 hadoop]$hdfs dfs -ls /test
            如想递归查询则用命令h0fs dfs -ls -R /test,可递归查询子目录的内容。
        5、显示HDFS下文件磁盘使用情况
            [hadoop@sys01 hadoop]$hdfs dfs -du -h /test
        6、查看磁盘使用情况
            [hadoop@sys01 hadoop]$hdfs dfs –df -h
        7、将HDFS文件或目录进行移动(目标路径为 /test1)
            [hadoop@sys01 hadoop]$hdfs dfs -mv -R /test/test.txt /test1
        8、将HDFS文件或目录进行复制(目标路径为 /test2)
            [hadoop@sys01 hadoop]$hdfs dfs -cp -R /test/test.txt /test2
        9、删除HDFS的一个文件或目录
            [hadoop@sys01 hadoop]$hdfs dfs -rm -R -skipTrash /test/test.txt
            加-skipTrask不会放入回收站,递归删除目录或文件用命令hdfs dfs -rmr -R -skipTrash /test。
        10、查看HDFS下文件内容
            [hadoop@sys01 hadoop]$hdfs dfs -cat /test/test.txt
        11、在HDFS下创建一个空文件
            [hadoop@sys01 hadoop]$hdfs dfs -touchz /test/test1.txt
        12、查看HDFS下文件最后1KB内容
            [hadoop@sys01 hadoop]$hdfs dfs -tail /test/test.txt
        13、查看HDFS全部帮助
            [hadoop@sys01 hadoop]$hdfs dfs -help
            查看HDFS指定命令的帮助命令为hdfs dfs -help XXX,XXX为对应的命令,如tail。
        14、统计文件(夹)数量
            [hadoop@sys01 hadoop]$hdfs dfs -count /test
        
  • 相关阅读:
    git的搭建与简单实用
    zabbix项目实践
    zabbix的搭建与入门
    zabbix的深入了解
    harbor私有镜像仓库的搭建与使用与主从复制
    tensorflow 在windows下的安装
    word2vec:基本的安装及使用简介
    cs231n(三) 误差反向传播
    cs231n笔记(二) 最优化方法
    cs231n笔记 (一) 线性分类器
  • 原文地址:https://www.cnblogs.com/cutelife/p/14803097.html
Copyright © 2011-2022 走看看