zoukankan      html  css  js  c++  java
  • Apache Oozie

    1. Apache Oozie

      Oozie是一个工作流调度系统。Oozie是运行于Java Servlet容器上的一个java web应用。Oozie是按照有向无权图(DAG)调度方式,使用xml文件配置工作流。最初是由Cloudear公司开发,后来贡献给Apache

      a. apache Oozie架构

    • oozie的webapp:oozie的server

      提供一个UI界面,接收客户点的提交的任务,提交给hadoop几圈,启动一个只有一个map没有reduce的mapreduce任务来调度工作的任务具体的执行,交给服务项。

    b. 基本原理

    采用xml配置工作流

    1. xml:workflow.xml 配置工作流的具体执行(有向无环图实现到配置文件)。
    2. job.properties:工作流的通用配置文件,执行参数信息。

    将节点分为两类:

    1. 控制节点:描述工作流的走向 start end fork join kill
    2. 动作节点:具体执行任务的节点 包括不局限于:mr,java,hive,shell,spark等。

    c. 工作流的类型

    1. workFlow:顺序执行流程节点,普通的工作流的调度,不涉及定时,不涉及批处理的工作流。
    2. coordinator:支持定时循环的调度任务
    3. bundle:即支持定时又支持批处理。

     

  • 相关阅读:
    phpexcel 字符串转码
    thinkphp 3.2 linux二级目录安装
    linux 系统、命令、软件
    thinkphp3.2和phpexcel导入
    苹果手机微信分享代码失效
    thinkphp3.2与phpexcel带图片生成 完美案例
    thinkphp3.2与phpexcel基础生成
    thinkphp 3.2加载类
    thinkphp 3.2与phpexcel
    thinkphp 导出exl功能
  • 原文地址:https://www.cnblogs.com/qidi/p/11646003.html
Copyright © 2011-2022 走看看