zoukankan      html  css  js  c++  java
  • azkaban平台的使用

    最近接触一些大数据的测试,有些hadoop/spark任务在服务器测试不太方便,会放到azkaban上跑

    简单写下azkaband的使用流程:包括任务的上传和提交任务到hadoop集群

    一 登陆azkaban,点击右上角,新建一个project

    二  上传测试任务

    此处有两种上传方式

    1 手动压缩上传

       ①将自己的任务压缩成zip文件

       ②进入project,点击右上角的Upload,上传自己的压缩包

    2 我偷了一个上传脚本,好吧,贴不过来,当我没说得了= =

    三 执行任务

    1 上传后在项目的Flow列表就会出现可执行任务,点开

    2 点开后可以看到好多job,每个job后有两个参数,一个是Run Job,一个是Run with dependency,选取后者会先执行该任务的依赖任务

    3 点击Run Job,可以看到只有要执行的任务是有效状态,点击左侧的Flow Parameters -- > Add Row,添加运行需要的参数

    4 执行右下角的Excute,即可成功提交任务到hadoop集群

    若任务较为简单,也可以直接在linux服务器上执行sh yourshell.sh,也可以提交到服务器配置的hadoop集群

     四 问题与解决

     1 不同账号间可以共享同名的project,注意需要配置权限

        进入project --> Pemissions --> User & Proxy User权限可以Add

    话说我这样不算侵权或者泄密吧,不要有坏人看到哟

       

        

  • 相关阅读:
    三级连动的下拉框(数据库版)吐血推荐
    行排菜单
    用AJAX制作天气预
    XmlHttp实战学习中....
    ASP+JS三级连动下拉框
    ASP连接11种数据库语法总结
    oa数据库设计
    RSS PUBData 把正常时间函数转成rss2.0的标准
    浮点数的表示和基本运算
    C#4.0新特性:可选参数,命名参数,Dynamic
  • 原文地址:https://www.cnblogs.com/zhaoxd07/p/7351448.html
Copyright © 2011-2022 走看看