zoukankan      html  css  js  c++  java
  • Hadoop常用Shell指令与常见问题

    Hadoop常用Shell指令与常见问题

    常用指令:

    文件列表:

    hadoop fs -ls path
    

    递归文件列表

    hadoop fs -lsr path
    

    建立文件夹

    hadoop fs -mkdir path
    

    删除

    hadoop fs -rm URI
    

    版本号

    hadoop version
    

    问题 1

    hadoop dfs -ls
    

    报错:

    WARNING: Use of this script to execute dfs is deprecated.
    WARNING: Attempting to execute replacement "hdfs dfs" instead.
    
    2019-07-23 11:18:43,174 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    ls: `.': No such file or directory
    

    说没有文件或者路径。原因在于上面的命令,或者 hdfs dfs -ls 实际上会自动添加路径,运行上面的指令,相当于运行:

    hdfs dfs -ls [/home/usernamexxx]
    

    这样一条指令。由于没有创建主目录,所以会报错没有文件和路径。可以采用这种方法:

    hdfs dfs -ls /
    

    就不会报错了。

    在hadoop上建立自己的文件夹:

    hdfs dfs -mkdir -p /myhd/hdusr
    

    其中,mkdir -p指的是如果上级目录不存在,则自动创建。比如这里的myhd如果不存在,那么自动创建myhd后再在其中生成子目录hdusr。

    这样,利用ls命令,就可以看到了

    baidudeMacBook-Pro:~ mynm$ hdfs dfs -ls /
    2019-07-23 11:43:12,207 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    Found 1 items
    drwxr-xr-x   - mynm supergroup          0 2019-07-23 11:36 /hdusr
    
  • 相关阅读:
    ASCII,Unicode,UTF
    C#值类型和引用类型2
    C#中使用Foreach
    CSS基础(2)
    CSS基础
    HTML基础
    MySQL高级
    MySQL和Python交互案例练习(2)
    MySQL和Python交互案例练习(1)
    外键SQL语句的编写
  • 原文地址:https://www.cnblogs.com/morikokyuro/p/13256679.html
Copyright © 2011-2022 走看看