【大数据系列】hadoop脚本分析

一、start-all.sh

hadoop安装目录/home/hadoop/hadoop-2.8.0/

libexec/hadoop-config.sh     ---设置变量

sbin/start-dfs.sh        ---启动hdfs

sbin/start-yarn.sh       ---启动yarn

二、sbin/start-dfs.sh   --config $HADOOP_CONF_DIR  -启动hdfs

   libexec/hdfs-config.sh    --等价于libexec/hadoop-config.sh

   获得节点名称和主机名

   NameNodes=$($HADOOP_PREFIX/bin/hdfs getconf-namenodes)

  启动节点名称

  "$HADOOP_PREFIX/sbin/hadoop-daemons.sh"  --config "$HADOOP_CONF_DIR"  --script "$bin/hdfs" start namenode $nameStartOpt 

  启动DataNode

 "$HADOOP_PREFIX/sbin/hadoop-daemons.sh"  --config "$HADOOP_CONF_DIR"  --script "$bin/hdfs" start datanode $dataStartOpt 

 启动2NN

 "$HADOOP_PREFIX/sbin/hadoop-daemons.sh"  --config "$HADOOP_CONF_DIR"  --hostname "$SECONDARY_NAMENODES" --script "$bin/hdfs" start secondarynamenode

三、libexec/hdfs-config.sh

 基本上都是调用libexec/hadoop-config.sh这个命令

四、sbin/hadoop-daemons.sh               --启动守护进程脚本

      1、libexec/hdfs-config.sh    执行配置脚本

      2、exec "$bin/slaves.sh"  --config $HADOOP_CONF_DIR cd "$HADOOP_PREFIX"  "$bin/hadoop-daemon.sh" --config $HADOOP_CONF_DIR "$@"

   //exec调用  循环slaves文件。通过ssh方式登录远程主机，执行相应命令

     3、hadoop-daemon.sh

           hadoop-config.sh

五、bin/hadoop

     hadoop-config.sh

     java 最终调用的是java命令

六、bin/hdfs

    hadoop-config.sh

   java   最终调用的是Java命令

七、hadoop单启和多启进程

  hadoop-daemon.sh  start namenode //启动任何脚本都可这个形式

  hadoop-daemon.sh  start secondarynamenode 

  hadoop-daemon.sh stop namenode //关闭

  //hadoop-daemon.sh  只在本地  只启动（关闭）一个  要在相应的机器上操作

  //hadoop-daemons.sh 同时启动多个（集群上的任何机器上都可以操作）

 eg:hadoop-daemons.sh start datanode

  a:atomic   原子性

  c:conssitent   一致性

  i:isolation   隔离性

  d:durable  永久性