zoukankan      html  css  js  c++  java
  • hadoop命令

    启动Hadoop
    进入HADOOP_HOME目录。
    执行sh bin/start-all.sh
    关闭Hadoop
    进入HADOOP_HOME目录。
    执行sh bin/stop-all.sh

    1、查看指定目录下内容

    Hadoop dfs –ls [文件目录]

    eg: hadoop dfs –ls /user/wangkai.pt

    2、打开某个已存在文件

    hadoop dfs –cat [file_path]

    eg:hadoop dfs -cat /user/wangkai.pt/data.txt

    3、将本地文件存储至hadoop

    hadoop fs –put [本地地址] [hadoop目录]

    hadoop fs –put /home/t/file.txt /user/t

    (file.txt是文件名)

    4、将本地文件夹存储至hadoop

    hadoop fs –put [本地目录] [hadoop目录]
    hadoop fs –put /home/lihui/ALSRecomm.jar /user/lihui

    (dir_name是文件夹名)

    5、将hadoop上某个文件down至本地已有目录下

    hadoop fs -get [文件目录] [本地目录]

    hadoop fs –get /user/t/ok.txt /home/t

    6、删除hadoop上指定文件

    hadoop fs –rm [文件地址]

    hadoop fs -rm /user/lihui/ALSRecomm.jar

    7、删除hadoop上指定文件夹(包含子目录等)

    hadoop fs –rm [目录地址]

    hadoop fs –rmr /user/t

    8、在hadoop指定目录内创建新目录

    hadoop fs –mkdir /user/t

    9、在hadoop指定目录下新建一个空文件

    使用touchz命令:

    hadoop fs -touchz /user/new.txt

    10、将hadoop上某个文件重命名

    使用mv命令:

    hadoop fs –mv /user/test.txt /user/ok.txt (将test.txt重命名为ok.txt)

    11、将hadoop指定目录下所有内容保存为一个文件,同时down至本地

    hadoop dfs –getmerge /user /home/t

    12、将正在运行的hadoop作业kill掉

    hadoop job –kill [job-id]

    13、从数据库导入数据到hdfs中

    sqoop import –connect jdbc:mysql://IP:3306/igallery_dataNew –username root –password *** –table table_name –columns “id,class,theme” –target-dir /user/xl/t_products –delete-target-dir –fileds-terminated-by “|”

    (/user/xl/t_products是要导入到的hdfs的文件夹)

    14.查看从数据库导入数据到hdfs是否执行成功

     hadoop fs –ls /user/xl

  • 相关阅读:
    LeetCode对撞指针汇总
    167. Two Sum II
    215. Kth Largest Element in an Array
    2018Action Recognition from Skeleton Data via Analogical Generalization over Qualitative Representations
    题解 Educational Codeforces Round 84 (Rated for Div. 2) (CF1327)
    题解 JZPKIL
    题解 八省联考2018 / 九省联考2018
    题解 六省联考2017
    题解 Codeforces Round #621 (Div. 1 + Div. 2) (CF1307)
    题解Codeforces Round #620 (Div. 2)
  • 原文地址:https://www.cnblogs.com/xl717/p/11612354.html
Copyright © 2011-2022 走看看