zoukankan      html  css  js  c++  java
  • kettle的数据库配置的表分析

    以下场景,用mysql来举例说明。
    本文是在初步了解了kettle的数据库配置之后,做的总结和分析。
    将kettle中的配置用数据库管理的时候,在创建了一个新的数据库,还没有做任何kettle中的job和转换的时候,数据库中已经自动创建好了一些基础的表,这些表中有的有数据,那是kettle本身的配置信息,有的表没有数据,那是因为这是一个新的数据库,我们还没有做任何配置。
    从这个角度来说,任何一个系统,应该有三种配置:
    基础系统配置
    1:系统为了工作所自带的配置,这些数据在系统创建的时候,自动初始化,这些属于字典或者基础配置,在业务使用过程中,一般不会发生变化。以kettle为例,比如系统支持的数据库类型等配置信息。
    基础用户自定义配置
    2:系统为了工作所自定义的配置,这些配置在系统创建好之后,有用户自己定义的信息,在业务使用过程中,可以发生变化。以kettle为例,比如用户自己定义的一些因工作需要而配置的数据库连接信息。
    业务流程的配置
    3:这个需要系统的使用者自己定义,这些数据随时会发生变化;以kettle为例,比如job和转换等。

    下面,我们根据上面分析的配置类型,来说明常用的kettle的配置。
    新的数据库创建好之后,kettle在数据库中自动创建的表:
    select table_name
    from information_schema.tables where table_schema='kettle' ;

    # table_name
    'R_CLUSTER'
    'R_CLUSTER_SLAVE'
    'R_CONDITION'
    'R_DATABASE'
    'R_DATABASE_ATTRIBUTE'
    'R_DATABASE_CONTYPE'
    'R_DATABASE_TYPE'
    'R_DEPENDENCY'
    'R_DIRECTORY'
    'R_ELEMENT'
    'R_ELEMENT_ATTRIBUTE'
    'R_ELEMENT_TYPE'
    'R_JOB'
    'R_JOBENTRY'
    'R_JOBENTRY_ATTRIBUTE'
    'R_JOBENTRY_COPY'
    'R_JOBENTRY_DATABASE'
    'R_JOBENTRY_TYPE'
    'R_JOB_ATTRIBUTE'
    'R_JOB_HOP'
    'R_JOB_LOCK'
    'R_JOB_NOTE'
    'R_LOG'
    'R_LOGLEVEL'
    'R_NAMESPACE'
    'R_NOTE'
    'R_PARTITION'
    'R_PARTITION_SCHEMA'
    'R_REPOSITORY_LOG'
    'R_SLAVE'
    'R_STEP'
    'R_STEP_ATTRIBUTE'
    'R_STEP_DATABASE'
    'R_STEP_TYPE'
    'R_TRANSFORMATION'
    'R_TRANS_ATTRIBUTE'
    'R_TRANS_CLUSTER'
    'R_TRANS_HOP'
    'R_TRANS_LOCK'
    'R_TRANS_NOTE'
    'R_TRANS_PARTITION_SCHEMA'
    'R_TRANS_SLAVE'
    'R_TRANS_STEP_CONDITION'
    'R_USER'
    'R_VALUE'
    'R_VERSION'

    合计61个表。

    上述61个表中,被kettle自动初始化的,就是基础系统配置的表。
    select table_name,table_rows
    from information_schema.tables where table_schema='kettle' and table_rows > 0;

    # table_name, table_rows
    'R_DATABASE_CONTYPE', '6'
    'R_DATABASE_TYPE', '52'
    'R_JOBENTRY_TYPE', '89'
    'R_LOGLEVEL', '6'
    'R_REPOSITORY_LOG', '1'
    'R_STEP_TYPE', '222'
    'R_USER', '2'
    'R_VERSION', '1'

    基础系统配置分析
    -- 数据库连接类型
    select * from R_DATABASE_CONTYPE;

    -- 系统支持的数据库类型
    select * from R_DATABASE_TYPE;

    -- job的节点类型
    select * from R_JOBENTRY_TYPE;

    -- 启动的时候,进程的日志等级
    select * from R_LOGLEVEL;

    -- kettle的日志
    select * from R_REPOSITORY_LOG;

    -- 步骤类型
    select * from R_STEP_TYPE;

    -- kettle数据库配置的连接用户
    select * from R_USER;

    -- 版本信息
    select * from R_VERSION;

    功能举例:
    创建一个目录
    -- kettle中的目录配置
    select * from R_DIRECTORY;

    创建一个数据库连接
    会向下面两个表中插入数据,
    -- 数据库连接定义表
    select * from R_DATABASE;

    -- 数据库连接的配置明细
    select * from R_DATABASE_ATTRIBUTE;

    在创建数据库连接的时候,会用到R_DATABASE_CONTYPE和R_DATABASE_TYPE表。

    配置一个转换
    功能描述:从mysql数据库的一个表,将记录写入mysql数据库的一个表中

    配置完成之后,一下表中有数据
    -- 定义一个转换
    select * from R_TRANSFORMATION;

    -- 转换的属性定义表
    select * from R_TRANS_ATTRIBUTE;

    -- 定义了一个转换下面的步骤顺序
    select * from R_TRANS_HOP;

    -- 定义一个步骤
    select * from R_STEP;

    -- 定义一个步骤的属性
    select * from R_STEP_ATTRIBUTE;

    -- 步骤里面配置的数据库连接信息
    select * from R_STEP_DATABASE;

    为转换添加一个job
    job的好处是,可以将多个转换用一个job连接起来,然后一键执行所有的转换。

    -- 定义一个job
    select * from R_JOB;

    -- 定义一个job的所有节点信息
    select * from R_JOBENTRY;

    -- 定义一个job节点的属性信息
    select * from R_JOBENTRY_ATTRIBUTE;

    -- 定义了一个job在kettle中的GUI界面中的信息,X和Y是坐标点
    select * from R_JOBENTRY_COPY;

  • 相关阅读:
    信息系统项目管理师2020年下半年下午案例分析题及答案
    信息系统项目管理师2019年下半年下午案例分析题及答案
    系统集成项目管理工程师2021年上半年下午案例分析题及答案
    信息系统项目管理师2021年下半年下午案例分析题及答案
    信息系统项目管理师2019年上半年下午案例分析题及答案
    系统集成项目管理工程师2021年下半年下午案例分析题及答案
    信息系统项目管理师2021年上半年下午案例分析题及答案
    深入理解C#笔记(1)
    SqlBulkCopy批量插入数据
    SQL ROW_NUMBER() OVER函数的基本用法用法
  • 原文地址:https://www.cnblogs.com/babyha/p/11445524.html
Copyright © 2011-2022 走看看