zoukankan      html  css  js  c++  java
  • 大数据学习——azkaban工作流调度系统

    azkaban的安装部署

     在/root/apps

    1目录下新建azkaban文件夹

    上传安装包到azkaban

    2解压

    tar -zxvf  azkaban-web-server-2.5.0.tar.gz

    3删掉安装包

    [root@mini1 azkaban]# rm -rf azkaban-executor-server-2.5.0.tar.gz
    [root@mini1 azkaban]# rm -rf azkaban-sql-script-2.5.0.tar.gz
    [root@mini1 azkaban]# rm -rf azkaban-web-server-2.5.0.tar.gz

    4重命名

    mv  azkaban-web-2.5.0 server 
    mv  azkaban-executor-2.5.0 executor

    5修改配置文件

    登录mysql数据库

    [root@mini1 ~]# mysql -u root -p
    Enter password: 

    创建azkaban数据库;

    drop database azkaban;
    create database azkaban;
    use azkaban;

    修改conf下的azkaban.properties

    修改时区为亚洲上海

    注:先配置好服务器节点上的时区

    1、先生成时区配置文件Asia/Shanghai,用交互式命令 tzselect 即可

    2、拷贝该时区文件,覆盖系统本地时区配置

    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 

    创建SSL

    keytool -keystore keystore -alias jetty -genkey -keyalg RSA
    输入keystore密码: hadoop
    再次输入新密码:
    您的名字与姓氏是什么?
    cui
    您的组织单位名称是什么?
    fengmin
    您的组织名称是什么?
    java
    您所在的城市或区域名称是什么?
    shanghai
    您所在的州或省份名称是什么?
    shanghai
    该单位的两字母国家代码是什么
    CN
    CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正确吗?
      [否]:  y
     
    输入<jetty>的主密码 hadoop
            (如果和 keystore 密码相同,按回车): 
    再次输入新密码: hadoop
    完成上述工作后,将在当前目录生成 keystore 证书文件,将keystore 考贝到 azkaban web服务器根目录中.如:cp keystore azkaban/webserver

     继续修改azkaban.properties

     vi azkaban.properties

    保存退出

    修改 executor

    cd executor

    cd conf

    vi azkaban.properties

    修改server的 conf的 azkaban-users.xml

    [root@mini1 conf]# vi  azkaban-users.xml

    启动

    [root@mini1 server]# bin/azkaban-web-start.sh
    [root@mini1 executor]# bin/azkaban-executor-start.sh

    浏览器访问

    https://mini1:8443/

    admin

    admin

     

    azkaban界面元素菜单说明

    1、projects:azkaban最重要的一部分,创建一个工程,将所有的工作流放在工程中执行

    2、scheduling:定时调度任务用的

    3、executing:  显示当前运行的任务

    4、History : 显示历史运行任务

    一个project由3个按钮:

    1、Flows:一个工作流,由多个job组成

    2、Permissions:权限管理

    3、Project Logs:工程日志信息

  • 相关阅读:
    SQL注入绕过——主要是magic_quotes_gpc, is_int(只能跑路,无注入点),以及关键字绕过,WAF绕过
    小葵多功能转换工具——编解码绕过,TODO
    load_file() 常用敏感信息
    crontab 结合 thinkphp3.2
    Docker 小型电脑
    Linux 查找大目录
    phpmyadmin 连接远程数据库
    git 变更 地址
    showdoc可以导出
    showdoc搭建
  • 原文地址:https://www.cnblogs.com/feifeicui/p/10311651.html
Copyright © 2011-2022 走看看