Azkaban工作流调度器
在Hadoop领域常用的工作流调度系统
Oozie,Azkaban,Cascading,Hamake等等。
性能对比:
安装:
创建ssl配置
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
生成密钥
讲keystore拷到server下
统一时区
这时要同步集群时间。
修改server配置文件: azkaban.propreties
修改excuter配置文件
启动:
web服务
azkaban-web-start.sh
后台
nohup bin/azkaban-web-start.sh 日志:1>tmp/azstd.out 2>/tmp/azerr.ou
页面效果:
创建一个项目,然后写个脚本测试下。
写完打压缩包,zip的,然后上传运行
这里可以运行多个job窜连任务,hdfs任务,hive建表任务,mr等等都可以,所以说azbkaban是一个工作流程调度器