zoukankan      html  css  js  c++  java
  • 启动与关闭hadoop

    启动hadoop
    1.start-all.sh
      可以看到这个脚本包含两个部分,start-dfs.sh和start-mapred.sh
    2.start-dfs.sh包含
        "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh  --config $HADOOP_CONF_DIR --script "$bin"/hdfs start namenode $nameStartOpt
        "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs start datanode $dataStartOpt
        "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters --script "$bin"/hdfs start secondarynamenode

       start-mapred.sh包含
        "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred start jobtracker
        "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred start tasktracker 

       可见namenode 和 jobtracker通过hadoop-daemon.sh启动,datanode,secondarynamenode,tasktracker 通过hadoop-daemons.sh启动.
    3.hadoop-daemons.sh 
      由这个脚本可以看到其中启动slaves.sh和hadoop-daemon.sh
    4.hdfs.sh和mapred.sh
      最后一行代码都是 
      exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"  
      这个就是真正的启动命令了。就是常见的java程序启动了,入口方法为java中的main 函数.
      这里启动了NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker.


    停止hadoop
    1.stop-all.sh
      可以看到这个脚本也包含两个部分,stop-dfs.sh和stop-mapred.sh
      
    2.stop-dfs.sh包含
      "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs stop namenode
      "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs stop datanode
      "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters --script "$bin"/hdfs stop secondarynamenode

      stop-mapred.sh包含
      "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred stop jobtracker
      "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred stop tasktracker
    3.分析hadoop-daemon.sh,其中包含   kill `cat $pid` ,程序通过kill命令来杀死进程号,达到停止hadoop的目的.

  • 相关阅读:
    VS 2010 Addin 开发 1
    事件冒泡和默认事件
    闭包试验
    查询字符串中出现频率最高的几种方法
    JS函数中的参数
    a 项目已更新,b 项目可以基于这个项目处理
    windows 生成ssh 公钥 命令
    git fetch upstream 报错 XXX Permission denied (publickey). fatal: Could not read from remote repository
    考试的那点事儿
    MySQL数据库InnoDB存储引擎多版本控制(MVCC)实现原理分析
  • 原文地址:https://www.cnblogs.com/yts1dx/p/4011190.html
Copyright © 2011-2022 走看看