zoukankan      html  css  js  c++  java
  • 大数据任务调度工具azkaban安装的相关文档

    区配置:

    1.查看时区

     

    2 .修改时区

    3 安装mysql

     下载MySQL数据脚本(如下有安装MySQL服务可以忽略)

     

    下载然后解压;tar -zxvf azkaban-sql-script-2.5.0.tar.gz

    创建用户、分配权限并执行脚本

        mysql –u root –pxxxx

    创建数据库: CREATE DATABASE azkaban;
    创建好数据库然后退出。
    然后将sql-script文件中的create-all-sql-2.5.0.sql中的数据表创建在刚创建好的azkaban 数据库当中。
    使用命令:mysql –u root –pxxxx -Dazkaban < /绝对路径/create-all-sql-2.5.0.sql
    登录mysql数据库。mysql –u root –pxxx  查看存在的表。
    注意:这里我们使用的root用户创建的数据库。在生产上我们是单独的创建一个用户,方便管理使用;
    还需注意,在azkaban2.5以后不需要自己在引入mysql的驱动包。在lib目录下面存在驱动包。
    创建用户名:CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban'
    分配权限:GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,INDEX ON `azkaban`.* TO 'azkaban'@'%' WITH GRANT OPTION;
    flush privileges;
    quit;
    通过azkaban账号登录mysql:mysql –uazkaban –pazkaban
    Use azkaban;
    source ~/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql

    4 Azkaban Web Server 安装

       1 下载安装azkaban-web-server-2.5.0.tar.gz

         解压tar包。目录如下

     2 生成SSL 证书

    因为azkaban是加密传输,因此要配置ssl 服务。方便网路传输。
    关于怎么使用 Java keytool 生成 keystore 文件 在这里可以只简单的生成 keystore 文件,并将生成的 keystore 文件拷贝至 ~/azkaban-web-2.5.0/web 文件下。

    keytool -keystore keystore -alias jetty -genkey -keyalg RSA

    3 修改 ./conf/azkaban.properties

    3 修改 ./conf/azkaban.properties

    修改首页样式及时区信息
    azkaban.name=Job Tasks     
    azkaban.label=mysteel workflow
    azkaban.color=#FF3601
    azkaban.default.servlet.path=/index
    web.resource.dir=web/
    default.timezone.id=Asia/Shanghai
    修改mysql连接,可自行修改
    database.type=mysql
    mysql.port=3306
    mysql.host=192.168.200.184
    mysql.database=azkaban
    mysql.user=azkaban     
    mysql.password=azkaban
    mysql.numconnections=100
    修改 Jetty 服务器属性,包括 keystore 的相关配置
    jetty.maxThreads=25
    jetty.ssl.port=8443
    jetty.port=8081
    jetty.keystore=keystore   最好设置为绝对路劲,防止加载不到
    jetty.password=mysteel
    jetty.keypassword= mysteel
    jetty.truststore=keystore   最好设置为绝对路劲,防止加载不到
    jetty.trustpassword= mysteel
    修改邮件设置(可选)
    mail.sender=xxxxxxx@mysteel.com
                   mail.host=smtp.126.com
                   mail.user= xxxxxxx@mysteel.com
    mail.password=xxx (注:发送邮箱的密码)
    
    
      5.用户及权限配置
    进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml ,增加管理员用户:
    < azkaban-users>
       < user username="azkaban" password="azkaban" roles="admin"  groups="azkaban" />
       < user username="metrics" password="metrics" roles="metrics"/>
       < user username="admin" password="admin" roles="admin,metrics" />
       < role name="admin" permissions="ADMIN" />
       < role name="metrics" permissions="METRICS"/>< /azkaban-users>
    Azkaban Executor Server安装
    1.下载安装包
    azkaban-executor-server-2.5.0.tar.gz
    解压到相对应的文件目录下面。
    tar –zxvf  azkaban-executor-server-2.5.0.tar.gz  –C  ~/azkaban/
    2.修改配置文件 (conf/azkaban.propreties)
    修改时区信息
    default.timezone.id=Asia/Shanghai
    修改mysql连接,可自行修改
    database.type=mysql
    mysql.port=3306
    mysql.host=192.168.200.184
    mysql.database=azkaban
    mysql.user=azkaban
    mysql.password=azkaban
    mysql.numconnections=100

    配置端口,默认就好
    executor.maxThreads=50
    executor.port=12321
    executor.flow.threads=30
    在web server 的azkaban.properties配置executor的连接,特别注意,如果两个server不是在一台主机上,web server 需要配置executor.host
    # Azkaban Executor settings
    executor.port=12321
    executor.host=ip/hostname
    启动验证
    启动web server
    ~/azkaban/azkaban-web-2.5.0/bin/azkaban-web-start.sh(azkaban-web-shutdown.sh停止)
     访问 https://ip:8443   
    登录用户名称和密码是上面xml 文件中的用户名称和密码,也可自行配置。

    出现界面安装成功
    启动 executor server
    ~/azkaban/azkaban-executor-2.5.0/bin/azkaban-exec-start.sh(azkaban-executor-shutdown.sh 停止
    至此azkaban安装完成。
    
    
    
    
    
    
    
    
    
    
  • 相关阅读:
    jvm基本结构和解析
    多态的意思
    java中对象的简单解读
    double类型和int类型的区别
    python 解析xml文件
    win10不能映射Ubuntu共享文件
    Qt程序打包
    Ubuntu boot分区文件误删,系统无法启动,怎么解
    ubuntu Boot空间不够问题“The volume boot has only 5.1MB disk space remaining”
    Ubuntu 分辨率更改 xrandr Failed to get size of gamma for output default
  • 原文地址:https://www.cnblogs.com/gxgd/p/8717406.html
Copyright © 2011-2022 走看看