zoukankan      html  css  js  c++  java
  • hadoop入门:hadoop使用shell命令总结

    第一部分:Hadoop Bin
    后面根据项目的实际需要Hadoop Bin  包括:
    Hadoop  hadoop的Shell
    hadoop-config.sh 它的作用是对一些变量进行赋值
         HADOOP_HOME(hadoop的安装目录)。
         HADOOP_CONF_DIR(hadoop的配置文件目录)。HADOOP_SLAVES(--hosts指定的文件的地址)
    hadoop-daemon.sh 单节点启动
    hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
    start-all.sh    启动HDFS与MapReduce
    start-balancer.sh 启动Hadoop的负载均衡
    start-dfs.sh  启动HDFS
    start-jobhistoryserver.sh
    start-mapred.sh  启动MapReduce
    来进行调整。
    后面根据项目的实际需要Hadoop Bin  包括:
    Hadoop  hadoop的Shell
    hadoop-config.sh 它的作用是对一些变量进行赋值
         HADOOP_HOME(hadoop的安装目录)。
         HADOOP_CONF_DIR(hadoop的配置文件目录)。
         HADOOP_SLAVES(--hosts指定的文件的地址)
    hadoop-daemon.sh 单节点启动
    hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
    start-all.sh    启动HDFS与MapReduce
    start-balancer.sh 启动Hadoop的负载均衡
    start-dfs.sh  启动HDFS
    start-jobhistoryserver.sh
    start-mapred.sh  启动MapReduce
    来进行调整。
    stop-all.sh   停止HDFS与MapReduce
    stop-balancer.sh 停止做负载均衡
    stop-dfs.sh   停止HDFS
    stop-jobhistoryserver.sh 停止Job追踪
    stop-mapred.sh 停止MapReduce
    task-controller
    第二部分:Hadoop Shell 基本操作

    nHadoop shell
      包括:

    1. namenode -format     format the DFS filesystem
    2. secondarynamenode    run the DFS secondary namenode
    3. namenode             run the DFS namenode
    4. datanode             run a DFS datanode
    5. dfsadmin             run a DFS admin client
    6. mradmin              run a Map-Reduce admin client
    7. fsck                 run a DFS filesystem checking utility
    8. fs                   run a generic filesystem user client
    9. balancer             run a cluster balancing utility
    10. fetchdt              fetch  delegation token from the NameNode
    11. jobtracker           run the MapReduce job Tracker node
    12. pipes                run a Pipes job
    13. tasktracker          run a MapReduce task Tracker node
    14. historyserver        run job history servers as a standalone daemon
    15. job                  manipulate MapReduce jobs
    16. queue                get information regarding JobQueues
    17. version              print the version
    18. jar <jar>            run a jar file
    19. distcp <srcurl> <desturl> copy file or directories recursively
    20. archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
    21. classpath            prints the class path needed to get the
    22.                            Hadoop jar and the required libraries
    23. daemonlog            get/set the log level for each daemon
    24. or
    25. CLASSNAME            run the class named CLASSNAME
    复制代码

    推荐文章:
    Hadoop Shell命令字典(可收藏)

    文章转自:http://www.aboutyun.com/thread-6742-1-1.html

  • 相关阅读:
    eclipse下c/cpp " undefined reference to " or "launch failed binary not found"问题
    blockdev 设置文件预读大小
    宝宝语录
    CentOS修改主机名(hostname)
    subprocess报No such file or directory
    用ldap方式访问AD域的的错误解释
    英特尔的VTd技术是什么?
    This virtual machine requires the VMware keyboard support driver which is not installed
    Linux内核的文件预读详细详解
    UNP总结 Chapter 26~29 线程、IP选项、原始套接字、数据链路访问
  • 原文地址:https://www.cnblogs.com/likehua/p/3999560.html
Copyright © 2011-2022 走看看