zoukankan      html  css  js  c++  java
  • Linux操作HDFS常用命令

    查看目录结构

      hdfs dfs -ls  查看当前目录结构

      hdfs dfs -ls /input  查看指定目录(/input)结构

    递归显示目录结构

      hdfs dfs -ls -R  递归显示当前目录结构

      hdfs dfs -ls -R /input  递归显示指定目录(/input)结构

    创建目录

      hdfs dfs -mkdir /input  创建指定目录

      hdfs dfs -mkdir -p /user/hdfs  递归创建指定目录

    创建文件

      touch ***.txt

    上传文件  hdfs dfs -put ./someWords.txt /input  //  /input不存在,重命名上传  /input文件夹存在,上传到文件夹

    移动多个文件目录到目标目录  hdfs dfs -mv /user/hadoop/file1 /user/hadoop/file2  //

    删除文件  hdfs dfs -rm [r] /input/someWords.txt  //[删除目录]

    查看文件内容  hdfs dfs -cat /input/ someWords.txt  //同时查看多个文件

    从本地文件系统复制文件到HDFS  hdfs dfs --copyFromLocal  someWords_2.txt /input

    修改文件权限(与Linux shell中类似)  hdfs dfs -chmod 777 /input/someWords.txt

    修改属主  hdfs dfs -chown yarn /input/someWords.txt    //将主用户修改为yarn

    修改属组  hdfs dfs -chgrp yarn /input/someWords.txt    //修改文件所属的组

    Linux  windows 支持多用户

      组hadoop

      用户

        hdfs  启动关闭修改    hdfs集群

        yarn  启动关闭修改    yarn集群

        hbase  ...  ...

        hive

        zookeeper

        kafka

        spark

    hdfs修改用户名  vi ~/.bashrc    //用户配置文件

               /etc/profile    //系统配置文件

               useradd

  • 相关阅读:
    实验四
    实验三 进程调度模拟程序
    实验二 调度
    一个完整的大作业
    数据结构化与保存
    爬取新闻列表
    用requests库和BeautifulSoup4库爬取新闻列表
    中文词频统计及词云制作
    组合数据类型练习,英文词频统计实例
    字符串操作练习:星座、凯撒密码、99乘法表、词频统计预处理
  • 原文地址:https://www.cnblogs.com/qiangang/p/13669643.html
Copyright © 2011-2022 走看看