Ambari Agent 源码分析

一、ambari-agent 启动方式

Ambari-Agent的启动脚本为/etc/init.d/ambari-agent。该脚本主要实现了start,stop,status,restart,reset方法。对于start,stop,status,reset方法的实现，直接调用/usr/sbin/ambari-agent脚本，将所有命令参数传入进去，reset直接调用stop,在调用start。 

二、ambari-agent启动脚本

/usr/sbin/ambari-agent 通过软链接指向/etc/init.d/ambari-agent，其执行过程如下：

1. set -u 脚本执行过程中，如果使用到未定义的变量，则显示错误信息。

set -u # fail on unset variables

2. 参数检测，如果设置了“–home”参数，则根据参数值，设置HOME_DIR。Ambari-Agent允许在单台节点上运行多个agent客户端（进行集群模拟），每个客户端有自己的配置文件目录。默认情况下，HOME_DIR为空。

export HOME_DIR=""
if [ "$#" = 3 ] && [ $2 = "--home" ] ; then
  export HOME_DIR=$3
  echo "Allow running multiple agents on this host; will use custom Home Dir: $HOME_DIR"
fi

3. 设置环境变量CONFIG_FILE="$HOME_DIR/etc/ambari-agent/conf/ambari-agent.ini"，默认情况下，CONFIG_FILE=/etc/ambari-agent/conf/ambari-agent.ini。

export CONFIG_FILE="$HOME_DIR/etc/ambari-agent/conf/ambari-agent.ini"

 4. 解析CONFIG_FILE文件，根据该配置文件，进行相关环境变量的设置。

get_agent_property() {
  property_name="$1"
  value=$(awk -F "=" "/^$property_name/ {print $2}" $CONFIG_FILE)
  echo $value
}

export PATH=/usr/sbin:/sbin:/usr/lib/ambari-server/*:$PATH
export AMBARI_CONF_DIR=$HOME_DIR/etc/ambari-server/conf:$PATH

# Because Ambari rpm unpacks modules here on all systems
export PYTHONPATH=/usr/lib/ambari-agent/lib:${PYTHONPATH:-}

export AMBARI_PID_DIR=`get_agent_property piddir`
export AMBARI_PID_DIR=`valid_path "${AMBARI_PID_DIR:?}"`
export AMBARI_PID_DIR="${AMBARI_PID_DIR:?}"
export AMBARI_AGENT_LOG_DIR=`get_agent_property logdir`
export AMBARI_AGENT_LOG_DIR=`valid_path "${AMBARI_AGENT_LOG_DIR:?}"`
export AMBARI_AGENT_LOG_DIR="${AMBARI_AGENT_LOG_DIR:?}"
KEYSDIR=`get_agent_property keysdir`
KEYSDIR=`valid_path "${KEYSDIR:?}"`
KEYSDIR="${KEYSDIR:?}"

AMBARI_AGENT=ambari-agent
PYTHON_WRAP=/usr/bin/ambari-python-wrap
PIDFILE=$AMBARI_PID_DIR/$AMBARI_AGENT.pid
OUTFILE=$AMBARI_AGENT_LOG_DIR/ambari-agent.out
LOGFILE=$AMBARI_AGENT_LOG_DIR/ambari-agent.log
AGENT_SCRIPT=/usr/lib/ambari-agent/lib/ambari_agent/main.py
AGENT_TMP_DIR=/var/lib/ambari-agent/tmp
AGENT_WORKING_DIR=/var/lib/ambari-agent
AMBARI_AGENT_PY_SCRIPT=/usr/lib/ambari-agent/lib/ambari_agent/AmbariAgent.py
COMMON_DIR=/usr/lib/ambari-agent/lib/ambari_commons
COMMON_DIR_AGENT=/usr/lib/ambari-agent/lib/ambari_commons
OK=0
NOTOK=1

5. 获取当前用户和用户组。

current_user=`id -u -n`
current_group=`id -g -n`

6. 检测用户权限，如果该用户不是root用户，则检查该用户是否有sudo权限（通过是否能执行sudo -l 命令，只有拥有sudo权限的用户能使用-l参数）。

if [ "$EUID" -ne 0 ] ; then
  echo "" | sudo -S -l > /dev/null 2>&1
  if [ "$?" != "0" ] ; then
    echo "You can't perform this operation as non-sudoer user. Please, re-login or configure sudo access for this user."
    exit 0
  fi
fi

7. 切换到ambari-agent工作目录。

cd $AGENT_WORKING_DIR

 8. 配置PYTHON环境变量。

if [ -z "${PYTHON:-}" ] ; then
  export PYTHON=`readlink $PYTHON_WRAP`
fi

9. 从环境变量中读取 AMBARI_PASSPHRASE，如果存在，则把值赋给 RESOLVED_AMBARI_PASSPHRASE。

if [ ! -z ${AMBARI_PASSPHRASE:-} ]; then
  RESOLVED_AMBARI_PASSPHRASE=$AMBARI_PASSPHRASE
fi

 10. 如果ambari-env.sh 文件存在，执行sudo chown命令修改其拥有者为当前用户。

# Reading the environment file
if [ -a /var/lib/ambari-agent/ambari-env.sh ]; then
  /var/lib/ambari-agent/ambari-sudo.sh chown -R $current_user "/var/lib/ambari-agent/ambari-env.sh"
  . /var/lib/ambari-agent/ambari-env.sh
fi

11. 如果 AMBARI_AGENT_LOG_DIR 存在，则设定LOGFILE文件名。

if [ ! -z $AMBARI_AGENT_LOG_DIR ]; then
  LOGFILE=$AMBARI_AGENT_LOG_DIR/ambari-agent.log
fi

 12. 如果 AMBARI_AGENT_OUT_DIR 存在，则设定OUTPUT文件名。

if [ ! -z ${AMBARI_AGENT_OUT_DIR:-} ]; then
  OUTFILE=$AMBARI_AGENT_OUT_DIR/ambari-agent.out
fi

13. 设定 AMBARI_PASSPHRASE 环境变量。

if [ -z ${RESOLVED_AMBARI_PASSPHRASE:-} ] &&  [ ! -z ${AMBARI_PASSPHRASE:-} ]; then
  RESOLVED_AMBARI_PASSPHRASE=${AMBARI_PASSPHRASE:-}
  # If the passphrase is not defined yet, use the value from the env file
elif [ -z ${RESOLVED_AMBARI_PASSPHRASE:-} ]; then
  # Passphrase is not defined anywhere, set the default value
  RESOLVED_AMBARI_PASSPHRASE="DEV"
fi

export AMBARI_PASSPHRASE=$RESOLVED_AMBARI_PASSPHRASE

14. 根据参数中传递的命令（start、status、stop、restart、reset）执行相应的命令，这里只对start命令进行说明，步骤如下：

　　(a) 检查python版本；

　　(b) 根据pid文件，检查当前是否有正常运行的agent进程（如果存在pid文件，且存在进程的进程号等于pid文件中记录的进程号，则认为agent已经启动，则抛出异常，返回） 

　　(c) 修改相关文件目录权限,指定其拥有者为当前用户；

　　(d) 比较 COMMON_DIR 和  COMMON_DIR_AGENT，如果不相同，则返回；

　　(e) 执行 python 脚本，启动 ambari-agent 进程，脚本路径为：AMBARI_AGENT_PY_SCRIPT=/usr/lib/ambari-agent/lib/ambari_agent/AmbariAgent.py；

　　(f) 等待2秒，等待AmbariAgent运行一段时间（AmbariAgent会启动子进程，该进程会创建pid文件，将子进程的pid号写入到pid文件中）； 

　　(g) 根据pid号检查agent是否启动正常;

注意：pid文件不是在启动脚本中创建写入的，而是在/usr/lib/python2.6/site-packages/ambari-agent/main.py中的daemonize函数中创建写入的，写入的是运行main.py的进程号。

三、ambari-agent 启动过程

  　　从Ambari-agent启动脚本可知，ambari-agent启动入口点为：/usr/lib/python2.6/site-packages/ambari-agent/AmbariAgent.py。下面主要分析AmbariAgent.py的运行过程。 
 AmbariAgent.py脚本比较简单，主要工作是启动子进程，运行/usr/lib/python2.6/site-packages/ambari-agent/main.py脚本。当脚本运行结束后，清理其产生的pid文件。 
下面看看main.py主要运行过程。

1. Signal信号绑定： 

　　(a) 主要绑定SigInt信号处理器、SigTerm信号处理器 
　　(b) 绑定debug类型的SigUSR1,SigUSR2信号和信号处理器 　　
　　(c) 创建HeartBeatSopCallback回调处理器。

2. 执行main 方法：

   　(a) 解析运行参数；

　　(b) 配置日志处理；

　　(c) 加载配置文件，解析配置属性；

　　(d) 如果为 stop 或者 reset 命令，则执行对应的方法；

　　(e) 添加系统日志处理器；

　    (f)  启动DataCleaner 线程（如果配置文件中有 data_cleanup_interval 属性，且其值大于0）

　　(g) 执行 ambari-agent 配置检查；

　　(h) 启动 PingPortListener 线程(该服务器作为一个机器级的全局的锁);

　　(i)  非windows系统，则创建pid文件，写pid ;

　　(j) 获取配置文件中配置的server列表，依次不断的去连接server,直到和某个server建立连接（或是agent停止）。如果连接成功，调用 run_threads 方法开始 Server <--> Agent通信流程。

　　run_thread方法执行过程如下：