zoukankan      html  css  js  c++  java
  • hadoop常用命令详细解释

    hadoop命令分为2级,在linux命令行中输入hadoop,会提示输入规则

    Usage: hadoop [--config confdir] COMMAND
    where COMMAND is one of:
      namenode -format     format the DFS filesystem
    #这个命令用于格式化DFS系统:hadoop namenode -formate secondarynamenode run the DFS secondary namenode
    #运行第二个namenode namenode run the DFS namenode
    #运行DFS的namenode datanode run a DFS datanode
    #运行DFS的datanode dfsadmin run a DFS admin client
    #运行一个DFS的admin客户端 mradmin run a Map
    -Reduce admin client #运行一个map-reduce文件系统的检查工具
    fsck run a DFS filesystem checking utility
    #运行一个DFS文件系统的检查工具 fs run a generic filesystem user client
    #这个是daoop文件的系统的一级命令,这个非常常见!!!稍后详细讲解这个命令:例如hadoop fs -ls / balancer run a cluster balancing utility
    #作用于让各个datanode之间的数据平衡,例如:
    sh $HADOOP_HOME/bin/start-balancer.sh –t 15%

    oiv apply the offline fsimage viewer to an fsimage
    #将fsimage文件的内容转储到指定文件中以便于阅读,oiv支持三种输出处理器,分别为Ls、XML和FileDistribution,通过选项-p指定
    fetchdt fetch a delegation token from the NameNode
    #运行一个代理的namenode
      jobtracker           run the MapReduce job Tracker node
    #运行一个MapReduce的taskTracker节点 pipes run a Pipes job
    #运行一个pipes作业 tasktracker run a MapReduce task Tracker node
    #运行一个MapReduce的taskTracker节点 historyserver run job history servers as a standalone daemon
    #运行历史服务作为一个单独的线程 job manipulate MapReduce jobs
    #处理mapReduce作业,这个命令可以查看提交的mapreduce状态,杀掉不需要的job queue get information regarding JobQueues
    #队列管理,在后续版本中这个命名取消了 version print the version
    #打印haoop版本 jar
    <jar> run a jar file
    #运行一个jar包,比如mapreduce可以通过hadoop-streaming-1.2.1.jar进行开发 distcp
    <srcurl> <desturl> copy file or directories recursively
    #distcp一般用于在两个HDFS集群中传输数据。如果集群在Hadoop的同一版本上运行,就适合使用hdfs方案:
     hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
    distcp2
    <srcurl> <desturl> DistCp version
    archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive classpath prints the class path needed to get the Hadoop jar and the required libraries daemonlog get/set the log level for each daemon or CLASSNAME run the class named CLASSNAME Most commands print help when invoked w/o parameters.

    2.随时更新,用到一个更新一个:

    格式化集群命令,这个命令一般在第一次启动集群时使用,注意,再次启动时候不能使用

    hadoop namenode -formate

    hdfs文件系统常见的命令:这些命令与linux系统命令非常类似:

    [root@master /root]$ hadoop fs
    Usage: java FsShell
               [-ls <path>]#显示某个目录下的所有文件夹或者文件,与linux的ls命令类似
    hadoop fs -ls / [
    -lsr <path>]#以全路径的方式展示当前目录下及当前目录下所有子目录的全部文件,与linux系统下tree命令类似
    hadoop fs -lsr /
    [
    -du <path>]#显示目录下所有子目录或者文件所占空间(逻辑空间),与linux命令du类似(注意子目录)
    hadoop fs -du /
    [
    -dus <path>]#显示该目录所占空间(逻辑空间),与linux的du命令类似(输入目录,)
    Hadoop fs -dus / [
    -count[-q] <path>]#显示某目录占用的实际空间,其输出结果对应含义如下:
    hadoop fs -count -q /
    2147483647      2147483623            none             inf           16            8             811543 hdfs://192.168.121.10:9000/
               [-mv <src> <dst>]#与linux命令mv类似,重命名一个目录或者文件
    hadoop fs -mv /mapreduce/out /mapreduce/Out2 [
    -cp <src> <dst>]#与linux命令cp复制,复制一个文件或者目录
    hadoop fs -cp /mapreduce/out / [
    -rm [-skipTrash] <path>]#删除某个文件 -skipTrash避免进入回收站而直接删除,在core-site.xml中可以配置启动防止误删机制
    hadoop fs -rm /lalalala/_logs/history/job_201804021019_0008_1522767221715_root_streamjob9109570129325496092.jar [
    -rmr [-skipTrash] <path>]递归删除文件夹及其内部所有文件,
    -skipTrash避免进入回收站而直接删除,在core-site.xml中可以配置启动防止误删机制
    hadoop fs -rmr /lalalala
               [-expunge]#清空回收站
    hadoop fs -expunge [
    -put <localsrc> ... <dst>]#将文件上传至HDFS的某个目录中,
    hadoop fs -put a.txt /mapreduce [
    -copyFromLocal <localsrc> ... <dst>]# [-moveFromLocal <localsrc> ... <dst>] [-get [-ignoreCrc] [-crc] <src> <localdst>] [-getmerge <src> <localdst> [addnl]] [-cat <src>] [-text <src>] [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] [-moveToLocal [-crc] <src> <localdst>] [-mkdir <path>] [-setrep [-R] [-w] <rep> <path/file>] [-touchz <path>] [-test -[ezd] <path>] [-stat [format] <path>] [-tail [-f] <file>] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-chgrp [-R] GROUP PATH...] [-help [cmd]
    ]
  • 相关阅读:
    个人理解闭包
    个人理解回调
    在网站中设置一个分享到功能
    在lua中从一个字符串中移除空间源码
    成都实行积分落户
    unity3D客户端框架
    skynet对Windows环境支持的版本:Windows版skynet
    超期羁押
    资料
    媒体电话
  • 原文地址:https://www.cnblogs.com/students/p/8710787.html
Copyright © 2011-2022 走看看