zoukankan      html  css  js  c++  java
  • 大数据学习笔记02-HDFS-常用命令

    创建目录

    hadoop fs -mkdir [-p] hdfs://master:9999/user/hadoop-twq/cmd

    上传文件

    hadoop fs -put [-f -d] [localFile1...localFile2] hdfs://master:9999/user/hadoop-twq/cmd
    hadoop fs -put - hdfs://master:9999/user/hadoop-twq/cmd/out.txt => 从标准流中上传数据
    hadoop fs -copyFromLocal [-f -d] localFile hdfs://master:9999/user/hadoop-twq/cmd

    查看文件内容

    hadoop fs -cat hdfs://master:9999/user/hadoop-twq/cmd/word.txt

    查看文件目录

    hadoop fs -ls [-d -h -r] hdfs://master:9999/user/hadoop-twq/cmd

    修改文件权限

    hadoop fs -chmod [-R] 777 hdfs://master:9999/user/hadoop-twq/cmd

    创建新文件

    hadoop fs -touchz hdfs://master:9999/user/hadoop-twq/cmd/flag.txt

    查看文件大小

    hadoop fs -du [-s -h] hdfs://master:9999/user/hadoop-twq/cmd

    查看集群容量使用情况

    hadoop fs -df [-h] hdfs://master:9999/

    移动文件

    hadoop fs -mv hdfs://master:9999/user/hadoop-twq/cmd/file hdfs://master:9999/user/hadoop-twq/cmd

    下载文件

    hadoop fs -get [-f] hdfs://master:9999/user/hadoop-twq/cmd

    删除文件

    hadoop fs -rm [-r -skipTrash] hdfs://master:9999/user/hadoop-twq/cmd/word.txt
    默认文件删除就恢复不出来了

    Trash机制

    如果想恢复出来的话,需要配置Trash机制,在core-site.xml中配置:

    	<property>
            <name>fs.trash.interval</name>
            <value>3</value>
        </property>
    

    scp core-site.xml hadoop-twq@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/
    scp core-site.xml hadoop-twq@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/
    重启hadoop集群

    表示3分钟内可以恢复所删文件,此时它存在在本用户目录下的.Trash目录下,可以通过查看.Trash目录,找到被删除文件的路径,然后使用cp命令可以将文件恢复出来:

    hadoop fs -cp hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/* /user/hadoop-twq 
    

    如果不适用Trash机制,可以使用-skipTrash,如:
    hadoop fs -rm -r -skipTrash /user/hadoop-twq/cmd-20180326

  • 相关阅读:
    如何在工作组设置中将本地策略应用于 Windows Server 2000 上除管理员以外的所有用户
    中小规模NT网的安全策略(一)
    Windows 2000 中的域安全性策略
    HOW TO:在 Windows 2000 的“安全模板”管理单元中定义安全模板
    Windows 2000 安全配置工具
    组策略特性集的渐进指南
    域级别策略
    Windows命令
    winForm base64编码转换 上传文件到web服务器
    php定界符方便好用
  • 原文地址:https://www.cnblogs.com/yw0219/p/9556441.html
Copyright © 2011-2022 走看看