azkaban 学习笔记

---

一，概述

　　Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。

 　　它有如下功能特点：

 　　　　Web用户界面。

　　　　 方便上传工作流。

 　　　　方便设置任务之间的关系。

　　　　调度工作流。

　　　　认证/授权(权限的工作)。

　　　　能够杀死并重新启动工作流。

　　　　模块化和可插拔的插件机制。

　　　　项目工作区。

　　　　工作流和任务的日志记录和审计。

　　Webserver主要负责权限验证、项目管理、作业流下发等工作；

　　Executor主要负责作业流/作业的具体执行以及搜集执行日志等工作；

　　MySQL用于存储作业/作业流的执行状态信息。

二，环境安装

　　1，准备工作：Hadoop2.6，hive2.1.1，mysql服务器，azkaban2.5.0。

　　2，解压安装，改名。

　　3，azkaban脚本导入

　　解压: azkaban-sql-script-2.5.0.tar.gz

　　命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz

　　将解压后的mysql 脚本,导入到mysql中:

　　进入mysql

　　mysql> create database azkaban;

　　mysql> use azkaban;

　　Database changed

　　mysql> source /home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql;

　　4，创建SSL配置

 　　命令（在/的目录下）: keytool -keystore keystore -alias jetty -genkey -keyalg RSA。

 　　运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记。

　　完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver

　　5，先配置好服务器节点上的时区

　　先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可。

　　拷贝该时区文件，覆盖系统本地时区配置。

　　cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

 　　6，azkaban web服务器配置

　　进入azkaban web服务器安装目录 conf目录，命令vi azkaban.properties

#Azkaban Personalization Settings
azkaban.name=sdd
azkaban.label=SDD Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai

#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=hadoop01
mysql.database=azkaban
mysql.user=root
mysql.password=123
mysql.numconnections=100

# Velocity dev mode
velocity.dev.mode=false

# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore
jetty.password=222222
jetty.keypassword=222222
jetty.truststore=keystore
jetty.trustpassword=222222

# Azkaban Executor settings
executor.port=12321

# mail settings
mail.sender=
mail.host=
job.failure.email=
job.success.email=

lockdown.create.projects=false

cache.directory=cache

　　

　　7，azkaban 执行服务器配置

　　进入执行服务器安装目录conf,命令vi azkaban.properties

#Azkaban
default.timezone.id=Asia/Shanghai

# Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes

#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects

database.type=mysql
mysql.port=3306
mysql.host=hadoop01
mysql.database=azkaban
mysql.user=root
mysql.password=123
mysql.numconnections=100

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

　　

　　8， 用户配置

 　进入azkaban web服务器conf目录,修改vi azkaban-users.xml 增加 管理员用户

<azkaban-users>
        <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
        <user username="metrics" password="metrics" roles="metrics"/>
        <user username="admin" password="admin" roles="admin,metrics" />
        <role name="admin" permissions="ADMIN" />
        <role name="metrics" permissions="METRICS"/>
</azkaban-users>

 　　9，启动

　　a）web服务

　　在azkaban web服务器目录下执行启动命令

　　bin/azkaban-web-start.sh

　　注:在web服务器根目录运行

　　 b）执行服务器

　　在执行服务器目录下执行启动命令

　　bin/azkaban-executor-start.sh ./

　　注:只能要执行服务器根目录运行

　　c）启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443 ,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击 login。

---