Azkaban实战

Azkaba内置的任务类型支持command、java

3.1单一job案例

1）创建job描述文件

[atguigu@hadoop102 jobs]$ vim first.job

#first.job

type=command

command=echo 'this is my first job'

 

2) 将job资源文件打包成zip文件

[atguigu@hadoop102 jobs]$ zip first.zip first.job 

  adding: first.job (deflated 15%)

[atguigu@hadoop102 jobs]$ ll

总用量 8

-rw-rw-r--. 1 atguigu atguigu  60 10月 18 17:42 first.job

-rw-rw-r--. 1 atguigu atguigu 219 10月 18 17:43 first.zip

 

注意：

目前，Azkaban上传的工作流文件只支持xxx.zip文件。zip应包含xxx.job运行作业所需的文件和任何文件（文件名后缀必须以.job结尾，否则无法识别）。作业名称在项目中必须是唯一的。

3）通过azkaban的web管理平台创建project并上传job的zip包

首先创建project

 上传zip包

 启动执行该job

 点击执行工作流

点击继续

执行成功

点击查看日志

3.2多job工作流案例

1）创建有依赖关系的多个job描述

第一个job：start.job

[atguigu@hadoop102 jobs]$ vim start.job

#start.job

type=command

command=touch /opt/module/kangkang.txt

第二个job：step1.job依赖start.job

[atguigu@hadoop102 jobs]$ vim step1.job

#step1.job

type=command

dependencies=start

command=echo "this is step1 job"

第三个job：step2.job依赖start.job

[atguigu@hadoop102 jobs]$ vim step2.job

#step2.job

type=command

dependencies=start

command=echo "this is step2 job"

第四个job：finish.job依赖step1.job和step2.job

[atguigu@hadoop102 jobs]$ vim finish.job

#finish.job

type=command

dependencies=step1,step2

command=echo "this is finish job"

2）将所有job资源文件打到一个zip包中

[atguigu@hadoop102 jobs]$ zip jobs.zip start.job step1.job step2.job finish.job

updating: start.job (deflated 16%)

  adding: step1.job (deflated 12%)

  adding: step2.job (deflated 12%)

  adding: finish.job (deflated 14%)

3）在azkaban的web管理界面创建工程并上传zip包

以下步骤同上。。。

3.3 java操作任务

使用Azkaban调度java程序

1）编写java程序

import java.io.IOException;

public class AzkabanTest {

public void run() throws IOException {

        // 根据需求编写具体代码

FileOutputStream fos = new FileOutputStream("/opt/module/azkaban/output.txt");

fos.write("this is a java progress".getBytes());

fos.close();

    }

public static void main(String[] args) throws IOException {

AzkabanTest azkabanTest = new AzkabanTest(); 

azkabanTest.run();

}

}

 

2）将java程序打成jar包，创建lib目录，将jar放入lib内

[atguigu@hadoop102 azkaban]$ mkdir lib

[atguigu@hadoop102 azkaban]$ cd lib/

[atguigu@hadoop102 lib]$ ll

总用量 4

-rw-rw-r--. 1 atguigu atguigu 3355 10月 18 20:55 azkaban-0.0.1-SNAPSHOT.jar

 

 

 

 

 

3）编写job文件

[atguigu@hadoop102 jobs]$ vim azkabanJava.job

#azkabanJava.job

type=javaprocess

java.class=com.atguigu.azkaban.AzkabanTest

classpath=/opt/module/azkaban/lib/*

 

4）将job文件打成zip包

[atguigu@hadoop102 jobs]$ zip azkabanJava.zip azkabanJava.job

  adding: azkabanJava.job (deflated 19%)

 

5）通过azkaban的web管理平台创建project并上传job压缩包，启动执行该job

3.3 HDFS操作任务

1）创建job描述文件

[atguigu@hadoop102 jobs]$ vim fs.job

#hdfs job

type=command

command=/opt/module/hadoop-2.7.2/bin/hadoop fs -mkdir /azkaban

2）将job资源文件打包成zip文件

[atguigu@hadoop102 jobs]$ zip fs.zip fs.job

  adding: fs.job (deflated 12%)

3）通过azkaban的web管理平台创建project并上传job压缩包

4）启动执行该job

5）查看结果

3.4 mapreduce任务

mapreduce任务依然可以使用azkaban进行调度

1） 创建job描述文件，及mr程序jar包

[atguigu@hadoop102 jobs]$ vim mapreduce.job

#mapreduce job

type=command

command=/opt/module/hadoop-2.7.2/bin/hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wordcount/input /wordcount/output

2） 将所有job资源文件打到一个zip包中

[atguigu@hadoop102 jobs]$ zip mapreduce.zip mapreduce.job

  adding: mapreduce.job (deflated 43%)

3）在azkaban的web管理界面创建工程并上传zip包

4）启动job

5）查看结果

 

3.5 Hive脚本任务

1）创建job描述文件和hive脚本

（1）Hive脚本：student.sql

[atguigu@hadoop102 jobs]$ vim student.sql

use default;

drop table student;

create table student(id int, name string)

row format delimited fields terminated by ' ';

load data local inpath '/opt/module/datas/student.txt' into table student;

insert overwrite local directory '/opt/module/datas/student'

row format delimited fields terminated by ' '

select * from student;

（2）Job描述文件：hive.job

[atguigu@hadoop102 jobs]$ vim hive.job

#hive job

type=command

command=/opt/module/hive/bin/hive -f /opt/module/azkaban/jobs/student.sql

1） 将所有job资源文件打到一个zip包中

[atguigu@hadoop102 jobs]$ zip hive.zip hive.job

  adding: hive.job (deflated 21%)

3）在azkaban的web管理界面创建工程并上传zip包

4）启动job

5）查看结果

 

[atguigu@hadoop102 student]$ cat /opt/module/datas/student/000000_0

1001    yangyang

1002    bobo

1003    banzhang

1004    pengpeng