zoukankan      html  css  js  c++  java
  • Azkaban2官方配置文档

    最近工作实在是太忙了,我把之前翻译的官方的文档先放上来吧,希望对大家有所帮助~吐舌头

    介绍

    Azkaban2新功能:

    1、Web UI

    2、简单工作流上传

    3、更容易设置job的依赖关系

    4、调度工作流

    5、权限设置

    6、Kill和restart工作流

    7、模块化和插件化

    8、日志和设计工作流和job

    搭建

    Azkaban2是相当容易搭建的,尽管它比azkaban要进行更多的插件组装。在Azkaban2中有两个server和一个数据库需要搭建:

    l  MySQL

    l  Azkaban Web Server  - 是一个和web接口一样的充当控制器功能的Jetty Server

    l  Azkaban Executor Server - 用于提交工作流

     

    下载

    需要从Azkaban下载3个包: web server, executor server 和MySQL启动脚本。

    下载地址:

    https://github.com/azkaban/azkaban2/wiki/Download-Packages

    搭建数据库

    现在,Azkaban只能用MySQL进行数据存储。

    l  下载azkaban-sql-script tar包。

    运行包中的mysql脚本来创建数据库表。

    获取JDBC驱动jar

    下载地址:http://www.mysql.com/downloads/connector/j/ 

    搭建Web Server

    下载并安装

    1、下载azkaban-web-server tar包。将其解压到你安装azkaban web的目录下。

    2、Copy jdbc驱动jar包到./extlib目录下。Azkaban将会自动检查和加载这          个目录下的外部引入jar包。

    在 conf 目录下,会有以下几个文件:

    文件

    描述

    azkaban.properties

    用于Azkanba运行时的属性配置

    global.properties

    全局静态属性,作为共享属性共享给每一个工作流程和job

    azkaban-users.xml

    用于添加用户和角色权限的属性文件。如果XmlUserManager没有启动,则这个文件将不会被使用

    搭建SSL

    Azkaban使用SSL socket连接器。可以根据以下链接提供的方法创建:

    http://docs.codehaus.org/display/JETTY/How+to+configure+SSL

    一旦一个keystore文件被创建,Azkaban必须要给出它的位置和密码,包括azkaban.properties中下面的内容页应该被重写:

    jetty.keystor-keystore

    jetty.password=password

    jetty.keypassword=password

    jetty.truststore=keystore

    jetty.trustpassword=password

    搭建UserManager

    Azkaban使用UserManager提供验证和用户角色的设置。默认情况下,Azkaban使用XmlUserManager获取username/passwords和从azkaban-users.xml中得到的角色设置,azkaban-users.xml可以再azkaban.properties文件中查看到:

    l  user.manager.class=azkaban.user.XmlUserManager

    l  User.manager.xml.file=conf/azkaban-users.xml

    接下来是一个azkaban-users.xml文件的例子:

    <azkaban-users>   
         <user username="azkaban" password="azkaban" roles="admin" groups="azkaban"/>   
         <role name="admin" permissions="ADMIN" />   
    </azkaban-users>

     

    也可以利用其他实现权限验证和设置的方法通过实现azkaban.user.UserManager接口并改变user.manager.class属性来重写UserManager

    搭建数据库

    为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties      文件中的一下属性:

       database.type=mysql
       mysql.port=3306
       mysql.host=localhost
       mysql.database=azkaban2
       mysql.user=azkaban
       mysql.password=azkaban
       mysql.numconnections=100


           配置主机和端口号

    配置azkaban.properties中的属性:

    executor.port=12321

    executor.host=<url>

    搭建Web Client

                 Azkaban作为一个Jetty Server搭建。你可以执行Azkaban将会使用的端口      号和连接的数量。

    颜色主题和名称可以定制的安装,特别是在区别多版本的Azkaban上非常有用。

    安装可视化插件

    之前的Azkaban版本包含HDFS浏览。在新版本的Azkaban中,它可以作为一个插件进行配置。

    为了安装可视化插件,需要下载并文件解压到./plugin/viewer目录下。

    运行Web Server

    Bin目录下应该包含azkaban-web-start.sh文件。用这个文件来启动Azkaban Web Server。使用azkaban-web-shutdown.sh关闭azkaban。

     

     

     -------------------------------------------------------------------------------------------------------

     

    Azkaban Web Server设置

    一般属性

    Property

    Description

    Default

    azkaban.name

    将会在Azkaban UI中展示出来的azkaban的名字

    Local

    azkaban.label

    一个描述Azkaban实例的标签

    My Local Azkaban

    azkaban.color

    设置Azkaban UI颜色的一个十六进制的值

    #FF3601 (red)

    web.resource.dir

    设置UIcssjavascript文件存放的路径

    src/web

    default.timezone

    默认的时区

    America/Los_Angeles

    user.manager.class

    用户管理用户权限的     user manager。默认是XmlUserManager

    azkaban.user.XmlUserManager

    mail.sender

    邮件发送的地址

     

    mail.host

    邮件server主机地址

     

    mail.user

    邮件server用户名

     

    mail.password

    邮件server密码

     

    azkaban.should.proxy

    被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除

    false

    proxy.keytab.location

    被HDFS浏览器使用。如果以安全的形式使用Hadoop1.0+则设置为true。即将会被移除

     

    proxy.user

    代理用户

     

    viewer.plugin.dir

    可视化插件被安装到的目录

    plugins/viewer

     

    Jetty 属性

    Property

    Description

    Default

    jetty.maxThreads

    最大请求线程数

    25

    jetty.ssl.port

    Ssl端口号

    8443

    jetty.keystore

    The keystore file

    keystore

    jetty.password

    Jetty password

    password

    jetty.keypassword

    The keypassword

    password

    jetty.truststore

    The trust store

    keystore

    jetty.trustpassword

    The trust password

    password



     

     

    Mysql连接属性

    Property

    Description

    Default

    database.type

    数据库类型,现在只支持mysql

    mysql

    mysql.port

    Mysql数据库的端口号

    3306

    mysql.host

    Mysql数据库的主机地址

    localhost

    mysql.database

    Mysql数据库名称

    azkaban2

    mysql.user

    mysql user

    azkaban

    mysql.password

    mysql password

    password

    mysql.numconnections

    Azkaban webclient可以开放给数据库的连接数量

    100

     

    Execurot Sercer属性

    Properties

    Description

    Default

    executor.port

    azkaban executor server端口号

    12321

    executor.host

    azkaban executor server主机地址

    localhost



     

     

    设置Executor Server

    下载和安装

    1、下载azkaban-executor-server tar包。将其解压到azkaban executor的安装目录下。

    2、Copy jdbc驱动jar包到./extlib目录下。

    File

    Description

    azkaban.properties

    Azkaban运行时属性

    global.properties

    全局静态属性,作为共享属性共享给每一个工作流程和job

     

     

    搭建数据库

    为了让Azkaban web client可以连接到MySQL,需要配azkaban.properties      文件中的一下属性:

       database.type=mysql
       mysql.port=3306
       mysql.host=localhost
       mysql.database=azkaban2
       mysql.user=azkaban
       mysql.password=azkaban
       mysql.numconnections=100


           配置主机和端口号

    配置azkaban.properties中的属性:

    executor.maxThreads=50

    executor.port=12321

     

     -----------------------------------------------------------------------------

    转载请注明出处:http://blog.csdn.net/gloria__zhang/article/details/12402051

  • 相关阅读:
    zookeeper配置
    redis前端启动和后台启动的区别
    SpringMVC接受JSON参数详解及常见错误总结我改
    SpringMVC @RequestBody接收Json对象字符串
    spring MVC 如何接收前台传入的JSON对象数组
    springMVC 接收json字符串参数
    mysql数据库user表host字段的%问题
    mysql.user表中Host为%的含义
    开店攻略: 零售店铺经营的三大原则
    开店攻略: 如何巧妙接近顾客
  • 原文地址:https://www.cnblogs.com/pangblog/p/3358130.html
Copyright © 2011-2022 走看看