Azkaban
MySQL
Azkaban使用mysql存储很多状态,AzkabanWebServer和AzkabanExecutorServer都会使用mysql数据库
AzkabanWebServer使用mysql主要有一下用途:
1、Project Management - 管理项目和项目上传文件
2、Executing Flow State - 跟踪执行流程和运行他们的Executor
3、Previous Flow/Jobs:搜索之前的job执行以及访问他们的日志
4、Scheduler - 保存调度任务的状态
5、SLA(服务等级协议) - 保存sla规则
AzkabanExecutorServer使用mysql主要有一下用途:
1、Access the project - 从数据库中查找项目文件
2、Executing Flows/Jobs - 查找和更新正在执行的流的数据
3、Logs - 记录job和flow输出的日志
4、dependency(交流) - 如果一个flow运行在不同的executor,那么他会把状态存储在数据库中
AzkabanWebServer是azkaban中最主要的管理者,他主要处理项目管理、认证、调度、监控执行器,它提供了一个web UI界面
源码下载编译
下载源码
1、如果是下面那么下载,则下载的需要jdk1.8或者更高,此处不使用这种下载方式
git clone https://github.com/azkaban/azkaban.git
2、下载指定版本的azkaban
git clone --branch 3.0.0 https://github.com/azkaban/azkaban.git
下载完成后会有如下警告:
warning: Remote branch 3.0.0 not found in upstream origin, using HEAD instead
解决方法:
进入到下载目录,执行:git checkout 3.0.0
安装gradle,配置好环境变量
gradle 编译防止网络下载gradle包
第一种方式使用gradlew编译:修改下图中红色的部分为本地已经下载好的gradle安装包路径
第二种方式使用gradle编译:配置好gradle环境变量即可,使用gradle命令编译
安装git
yum -y install git
编译源码
此处修改gradle-wrapper.properties中distributionUrl为本地gradle
./gradlew distTar
编译中遇见的问题:
1、编译警告影响编译失败
warning: [EqualsHashCode] Classes that override equals should also override hashCode.
public boolean equals(Object obj)
^
(see http://errorprone.info/bugpattern/EqualsHashCode)
解决方法编辑build.gradle添加如下内容:
allprojects { repositories { mavenCentral() mavenLocal() } gradle.projectsEvaluated { tasks.withType(JavaCompile) { options.compilerArgs << "-Xlint:unchecked" << "-Xlint:deprecation" } } }
2、编译错误:
What went wrong:
Execution failed for task ':azkaban-common:compileMainExecutableMainC'.
> Could not find C compiler 'gcc' in system path.
解决方法:
sudo yum install gcc
3、编译错误:
Could not find Linker 'g++' in system path
解决方法:
sudo yum install g++ sudo yum install -y gcc-c++*
安装
编译成功后,拷贝azkaban-sql-3.0.0.tar.gz、azkaban-exec-server-3.0.0.tar.gz、azkaban-web-server-3.0.0.tar.gz到/home/hadoop/apps/azkaban目录下
azkaban web服务器安装
1、解压 tar -zxvf azkaban-web-server-3.0.0.tar.gz
2、重命名 mv azkaban-web-server-3.0.0 server
azkaban executor服务器安装
1、解压 tar -zxvf azkaban-exec-server-3.0.0.tar.gz
2、重命名 mv azkaban-exec-server-3.0.0 executor
创建SSL配置
命令:keytool -keystore keystore -alias jetty -genkey -keyalg RSA
执行后会提示填写一些信息
keytool -keystore keystore -alias jetty -genkey -keyalg RSA Enter keystore password: Re-enter new password: What is your first and last name? [Unknown]: What is the name of your organizational unit? [Unknown]: What is the name of your organization? [Unknown]: What is the name of your City or Locality? [Unknown]: What is the name of your State or Province? [Unknown]: What is the two-letter country code for this unit? [Unknown]: CN Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN correct? [no]: y Enter key password for <jetty> (RETURN if same as keystore password):
执行成功后会在当前目录生成keystore证书文件
此时,只需要拷贝证书文件到azkaban web服务器的根目录下即可
修改配置文件
配置时区
1、使用tzselect 生成时区
2、覆盖系统时区
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
修改azkaban web服务器配置文件
1、进入到配置文件所在目录conf中
2、编辑azkaban.properties
# Azkaban Personalization Settings #服务器UI名称,用于服务器上方显示的名字 azkaban.name=Test #描述 azkaban.label=My Local Azkaban #UI颜色 azkaban.color=#FF3601 azkaban.default.servlet.path=/index #默认根web目录 web.resource.dir=web/ #默认时区,已改为亚洲/上海 默认为美国 default.timezone.id=Asia/Shanghai # Azkaban UserManager class #用户权限管理默认类 user.manager.class=azkaban.user.XmlUserManager #用户配置文件所在的目录 user.manager.xml.file=conf/azkaban-users.xml # Loader for projects # global配置文件所在位置 executor.global.properties=conf/global.properties azkaban.project.dir=projects #数据库类型,目前只支持mysql database.type=mysql #端口号 mysql.port=3306 #数据库连接IP mysql.host=localhost #数据库实例名 mysql.database=azkaban #数据库用户名 mysql.user=root #数据库密码 mysql.password=root #最大连接数 mysql.numconnections=100 # Velocity dev mode velocity.dev.mode=false # Azkaban Jetty server properties. #最大线程数 jetty.maxThreads=25 #Jetty SSL端口 jetty.ssl.port=8443 #Jetty端口 jetty.port=8081 #SSL文件名 jetty.keystore=keystore #SSL文件密码 jetty.password=123456 #Jetty主密码 与 keystore文件相同 jetty.keypassword=123456 #SSL文件名 jetty.truststore=keystore # SSL文件密码 jetty.trustpassword=123456 jetty.excludeCipherSuites=SSL_RSA_WITH_DES_CBC_SHA,SSL_DHE_RSA_WITH_DES_CBC_SHA,SSL_DHE_DSS_WITH_DES_CBC_SHA,SSL_RSA_EXPORT_WITH_RC4_40_MD5,SSL_RSA_EXPORT_WITH_DES40_CBC_SHA,SSL_DHE_RSA_EXPORT_WITH_DES40_CBC_SHA,SSL_DHE_RSA_WITH_3DES_EDE_CBC_SHA,SSL_DHE_DSS_WITH_3DES_EDE_CBC_SHA,TLS_DHE_RSA_WITH_AES_256_CBC_SHA256,TLS_DHE_DSS_WITH_AES_256_CBC_SHA256,TLS_DHE_RSA_WITH_AES_256_CBC_SHA,TLS_DHE_DSS_WITH_AES_256_CBC_SHA,TLS_DHE_RSA_WITH_AES_128_CBC_SHA256,TLS_DHE_DSS_WITH_AES_128_CBC_SHA256,TLS_DHE_RSA_WITH_AES_128_CBC_SHA,TLS_DHE_DSS_WITH_AES_128_CBC_SHA # Azkaban Executor settings #执行服务器端口 executor.port=12321 # mail settings 邮件设置 #发送邮箱 mail.sender=xxx@qq.com #发送邮箱smtp地址 mail.host=smtp.qq.com #发送邮件时显示的名称 mail.user=xxx9@qq.com #发送邮件时的密码 mail.password=************* #任务失败时发送邮件的地址 job.failure.email=xxx@qq.com #任务成功时发送邮件的地址 job.success.email=xxx@qq.com lockdown.create.projects=false #缓存目录 cache.directory=cache # JMX stats jetty.connector.stats=true executor.connector.stats=true
修改azkaban executor器配置文件
1、进入到配置文件所在目录conf中
2、编辑azkaban.properties
# Azkaban #时区 default.timezone.id=Asia/Shanghai # Azkaban JobTypes Plugins #jobtype 插件所在位置 azkaban.jobtype.plugin.dir=plugins/jobtypes # Loader for projects executor.global.properties=conf/global.properties azkaban.project.dir=projects #数据库相关配置 database.type=mysql mysql.port=3306 mysql.host=localhost mysql.database=azkaban mysql.user=root mysql.password=root mysql.numconnections=100 # Azkaban Executor settings # 执行服务器配置 executor.maxThreads=50 executor.port=12321 executor.flow.threads=30 # JMX stats jetty.connector.stats=true executor.connector.stats=true # uncomment to enable inmemory stats for azkaban #executor.metric.reports=true #executor.metric.milisecinterval.default=60000
用户配置
进入azkaban web服务器conf目录,修改azkaban-users.xml
<azkaban-users> <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" /> <user username="metrics" password="metrics" roles="metrics"/> <user username="admin" password="admin" roles="admin,metrics" /> <role name="admin" permissions="ADMIN" /> <role name="metrics" permissions="METRICS"/> </azkaban-users>
主要是添加下面一行
<user username="admin" password="admin" roles="admin,metrics" />
导入azkaban表结构到mysql中
1、创建数据库azkaban
create database azkaban;
2、导入表结构
source /home/hadoop/apps/azkaban/azkaban-sql-3.0.0/create-all-sql-3.0.0.sql;
3、执行针对3.0.0升级的sql
update.execution_flows.3.0.sql
update.active_executing_flows.3.0.sql
启动
1、启动web服务器,进入web服务器(不要进入bin目录,直接在bin目录所在那层执行,原因是有些配置文件写的是相对路径),执行如下命令
nohup ./bin/azkaban-web-start.sh &
2、启动executor,进入executor,不要进入bin目录(原因和上面一样),执行如下命令
nohup ./bin/azkaban-executor-start.sh
浏览器访问web服务器:https://服务器IP地址:8443,需要输入的用户名和密码就是在azkaban-users.xml添加的那个用户名和密码