zoukankan      html  css  js  c++  java
  • hadoop入门:hadoop使用shell命令总结

    第一部分:Hadoop Bin
    后面根据项目的实际需要Hadoop Bin  包括:
    Hadoop  hadoop的Shell
    hadoop-config.sh 它的作用是对一些变量进行赋值
         HADOOP_HOME(hadoop的安装目录)。
         HADOOP_CONF_DIR(hadoop的配置文件目录)。HADOOP_SLAVES(--hosts指定的文件的地址)
    hadoop-daemon.sh 单节点启动
    hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
    start-all.sh    启动HDFS与MapReduce
    start-balancer.sh 启动Hadoop的负载均衡
    start-dfs.sh  启动HDFS
    start-jobhistoryserver.sh
    start-mapred.sh  启动MapReduce
    来进行调整。
    后面根据项目的实际需要Hadoop Bin  包括:
    Hadoop  hadoop的Shell
    hadoop-config.sh 它的作用是对一些变量进行赋值
         HADOOP_HOME(hadoop的安装目录)。
         HADOOP_CONF_DIR(hadoop的配置文件目录)。
         HADOOP_SLAVES(--hosts指定的文件的地址)
    hadoop-daemon.sh 单节点启动
    hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
    start-all.sh    启动HDFS与MapReduce
    start-balancer.sh 启动Hadoop的负载均衡
    start-dfs.sh  启动HDFS
    start-jobhistoryserver.sh
    start-mapred.sh  启动MapReduce
    来进行调整。
    stop-all.sh   停止HDFS与MapReduce
    stop-balancer.sh 停止做负载均衡
    stop-dfs.sh   停止HDFS
    stop-jobhistoryserver.sh 停止Job追踪
    stop-mapred.sh 停止MapReduce
    task-controller
    第二部分:Hadoop Shell 基本操作

    nHadoop shell
      包括:

    1. namenode -format     format the DFS filesystem
    2. secondarynamenode    run the DFS secondary namenode
    3. namenode             run the DFS namenode
    4. datanode             run a DFS datanode
    5. dfsadmin             run a DFS admin client
    6. mradmin              run a Map-Reduce admin client
    7. fsck                 run a DFS filesystem checking utility
    8. fs                   run a generic filesystem user client
    9. balancer             run a cluster balancing utility
    10. fetchdt              fetch  delegation token from the NameNode
    11. jobtracker           run the MapReduce job Tracker node
    12. pipes                run a Pipes job
    13. tasktracker          run a MapReduce task Tracker node
    14. historyserver        run job history servers as a standalone daemon
    15. job                  manipulate MapReduce jobs
    16. queue                get information regarding JobQueues
    17. version              print the version
    18. jar <jar>            run a jar file
    19. distcp <srcurl> <desturl> copy file or directories recursively
    20. archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
    21. classpath            prints the class path needed to get the
    22.                            Hadoop jar and the required libraries
    23. daemonlog            get/set the log level for each daemon
    24. or
    25. CLASSNAME            run the class named CLASSNAME
    复制代码

    推荐文章:
    Hadoop Shell命令字典(可收藏)

    文章转自:http://www.aboutyun.com/thread-6742-1-1.html

  • 相关阅读:
    实时黄金价格[自动刷新]
    ping不通动态域名,解决方法
    清除新版阿里旺旺2008自动添加的右键菜单
    MPLS 原理详解
    windows远程桌面缺陷单用户和多用户
    Flash player ActiveX 9错误的解决办法
    关于DHCP原理的讲解
    找回丢失的IE、网上邻居等桌面图标
    xp安装了SP3以后无法更新的解决办法(XP自动更新下载后安装失败)
    ADSL 定时断线重连bat文件 [转载]
  • 原文地址:https://www.cnblogs.com/likehua/p/3999560.html
Copyright © 2011-2022 走看看