zoukankan      html  css  js  c++  java
  • Azkaban业务流程如何转化为DataWorks业务流程

    简介: 用户在迁移上云的时候,需要将云下的的Azkaban任务迁移上云,之前通过用户在DataWroks一步步创建对应的业务流程,其转化难度和转化时间都是一定的成本和时间,但如何能做到省时省力的方式迁移,为此本文提供了使用迁移助手解决业务流程上云迁移的的问题,本文模拟Azkaban业务流程到入到DataWorks的操作过程,方便大家参阅。

    一、安装Azkaban,并将简单流程任务进行打包运行

    1.1构建对应的运行任务

    bar.job

    # bar.job

    type=command

    dependencies=foo

    command=echo bar

    foo.job

    # foo.job

    type=command

    command=echo foo

    将这个两个文件打包为foobar.zip文件

    1.2.创建project

    image

    1.3.上传对应调度任务

    image

    1.4.运行对应的调度任务

    image

     

     

    二、在DataWorks打开迁移助手,并进行业务流程的导入

    2.1打开DataWorks的开发界面选择全部产品,点击运维助手

    image

    2.2进入迁移助手,点击新建导入任务

    image

    2.3选择对应的Azkaban任务,点击上传文件将foobar.zip进行上传

    image

    2.4上传完成后,可以看到对应的任务列表,查看对应的导入报告

    image

    可以看待对应任务导入是结果展示,以及转化为的业务流程名称

    image

    2.5最后回到Dataworks的开发界面进行查看转化后的调度任务

    image

     

     

    总结和注意事项:

    1.仅主账号和工作空间管理员能够进行导入和导出操作,其他角色成员仅支持查看导入、导出任务列表,无操作权限。

    2.目前支持Hive、Sqoop、Shell的转化等。

    3.迁移上DataWorks的业务流程,需要转化的任务需要做手动改动,但是整体的逻辑不会改变。对比重新建立对应的繁杂的依赖关系,无论效率和成本都是完善的一种方案。

    原文链接
    本文为阿里云原创内容,未经允许不得转载。

  • 相关阅读:
    HTML网页基础知识
    velocity介绍及语法
    velocity中的表达式
    DecimalFormat 小数保留2位,金额千位分割
    UE.Editor下载
    Uncaught Could not find Flash element
    UE.Editor处理内容中含有多余图片问题
    vue路由
    vuejs基本结构
    vue.js组件的重要选项
  • 原文地址:https://www.cnblogs.com/yunqishequ/p/14750319.html
Copyright © 2011-2022 走看看