zoukankan      html  css  js  c++  java
  • Azkaban 2.5.0的详细安装过程

        准备下载Azkaban2.5.0:https://azkaban.github.io/downloads.htm

    准备插件:

    一、MySQL安装与配置

         启动数据库并查看状态:sudo service mysqld start

                                              sudo service mysqld status

        

       

         登陆mysql:以root用户登陆      

         mysql -u root -p

       

       

         1)为Azkaban单独创建一个数据库:

             create database azkaban

             

          2)单独创建一个数据库用户,实际生产中最好单独创建一个用户,这里我使用azkaban/***1234,并对用户授权

                 创建:create user 'azkaban'@'主机名' identified by 'azkaban';(用户azkaban、主机名、对数据库azkaban)

                 授权:grant select,insert,update,delete,create,index on `azkaban`.* to 'azkaban'@'主机名' with grant option;

           

            

         

        接下来通过刚创建的用户登陆mysql

         

         

         报错,再执行下面的

         mysql> grant all privileges on *.* to 'azkaban'@'%' identified by 'azkaban' with grant option;
         Query OK, 0 rows affected (0.00 sec)

         mysql> grant all privileges on *.* to 'azkaban'@'master' identified by 'azkaban' with grant option;
         Query OK, 0 rows affected (0.00 sec)

         mysql> grant all privileges on *.* to 'azkaban'@'localhost' identified by 'azkaban' with grant option;
         Query OK, 0 rows affected (0.00 sec)

         

        

        

       

       select user,host,password from mysql.user;

        

       

        此时就可以通过azkaban账号登陆了

         

     

    3) 为azkaban建表:

             下载azkaban-sql-script-2.5.0.tar.gz 解压缩

              执行create-all-sql-2.5.0.sql

              mysql -u azkaban -pazkaban -Dazkaban<create-all-sql-2.5.0.sql(create-all-sql-2.5.0.sql重定向到创建的数据库)

             上传解压

             

                

             

            退出,做重定向

              mysql -uazkaban -pazkaban -Dazkaban</home/hadoop/app/azkaban-2.5.0/create-all-sql-2.5.0.sql(全路径)

             

           

          再次登录

           

            

          完成

        4)准备jdbc驱动

          下载jdbc驱动包,webserver和executor-server都需要它,将其放入到webserver和executor-server的extlib目录下(2.5版本是自带的不需要配置)

    二、配置Azkaban Web Server

        1)安装web server

           下载  解压缩

         

          

       

          

          

           上传依赖包

           把mysql驱动上传至/home/hadoop/app/azkaban-web-2.5.0/extlib

           

    2)Getting KeyStore for SSL(生成KeyStore文件)

          keytool -keystore keystore -alias jetty -genkey -keyalg RSA

         

        密码尽量一致(包括大小写

        

         修改配置文件:conf/azkaban.properties

         修改

         

         

        # Azkaban Jetty server properties.
        jetty.maxThreads=25
        jetty.ssl.port=8443
        jetty.port=8081
        jetty.keystore=/home/hadoop/app/azkaban-web-2.5.0/web/keystore
        jetty.password=******
        jetty.keypassword=******
        jetty.truststore=/home/hadoop/app/azkaban-web-2.5.0/web/keystore 
        jetty.trustpassword=******

      

       修改

       setting up to the DB

        

        

     #Loader for projects
       executor.global.properties=/home/hadoop/app/azkaban-web-2.5.0/conf/global.properties
       azkaban.project.dir=projects

       database.type=mysql
       mysql.port=3306
       mysql.host=localhost
       mysql.database=azkaban
       mysql.user=azkaban
       mysql.password=azkaban
       mysql.numconnections=100

       

       修改

       

       #Azkaban UserManager class
       user.manager.class=azkaban.user.XmlUserManager
       user.manager.xml.file=/home/hadoop/app/azkaban-web-2.5.0/conf/azkaban-users.xml

         修改

         

         #Azkaban Personalization Settings
         azkaban.name=Test
         azkaban.label=My Local Azkaban
         azkaban.color=#FF3601
         azkaban.default.servlet.path=/index
         web.resource.dir=/home/hadoop/app/azkaban-web-2.5.0/web/
         default.timezone.id=America/Los_Angeles

          启动web server

          bin/azkaban-web-start.sh 

          bin/azkaban-web-shutdown.sh 

            https://192.168.80.11:8443/

          

          

         回车

         

        

        https://192.168.80.11:8443/   web页面展示     

         

        配置安装完成!!!!!

    三、配置安装Azkaban Executor Server

          1)安装Azkaban Executor Server    

               下载azkaban-executor-server-2.5.0.tar.gz  上传、解压缩即可。

               

                   

         2)配置数据库(setting up to DB)

             修改cof/azkaban.properties

              

                 

              

              #Loader for projects
              executor.global.properties=conf/global.properties
              azkaban.project.dir=projects

              database.type=mysql
              mysql.port=3306
              mysql.host=localhost
              mysql.database=azkaban
              mysql.user=azkaban
              mysql.password=azkaban
              mysql.numconnections=100

         3)配置端口号

                 

                

                默认配置不动即可(webserver和executorserver都用默认不需改动,如若自己想修改则两端都要改成一致)

        注意:对于两种不同的模式,配置是不一样的了:

            single executor mode:executor.port=12321即可。只需要和AzkabanWebServer的azkaban.properties下的executor.port保持一致就OK了。

          4)启停Executor Server

          bin/azkaban-exec-start.sh

          bin/azkaban-exec-shutdown.sh

           

           

          报错是由于没有指定全路径,找不到文件。所以在配置时尽量使用全路径即可

         

         

            jps可以发现即使报错但是还是启动起来了,这里先干掉再启动

         

          

         重新启动

         

          成功

     四、多个Executor Server 模式

          待续。。。。。。。

    五、配置Azkaban插件

            azkaban设计的思路是使非核心功能基于插件,所以核心功能非常轻便,安装升级方便,而且很容易扩展到不同的操作系统。

          web server 插件:

                                     viewer plugins

                                     trigger plugins

                                     user manager plugins

                                     alerter plugins

         executor server插件:

         注意:注意之前的疏忽,这里调整时区

        web server

        

        executor server

         

        调整完成 重新启动 生效

    六、创建工作流

          桌面创建两个后缀名为.job的文件

         

          

         

          打包

         

        

         登陆web界面:https://192.168.80.11:8443/

        

             创建组

           

          

           

        上传工作流

                                    

     

         

           

      

  • 相关阅读:
    递归算法
    C#委托
    final 、finally
    JSP中的日期问题
    为GirdView添加CSS样式
    PC连Moto V180上网
    CSS条状图表:垂直型
    树型列表的实现
    关闭窗口无提示
    用PhotoShop做漂亮的相框,哈哈
  • 原文地址:https://www.cnblogs.com/lyywj170403/p/8893846.html
Copyright © 2011-2022 走看看