zoukankan      html  css  js  c++  java
  • kettle-数据源配置化-开发、生产采用不同配置

    数据etl常用工具kettle。

    1、说明:

    kettle-数据源配置化:是指kettle的数据源连接信息全部或者部分从配置文件中读取(如果是数据库的资源库,那么资源库也可以配置化)。

    2、优点:

           1、这样程序本身就和kettle的业务解绑了,开发、生产采用不同配置;每次开发完成就可以直接导入线上,再也不用手动去修改连接信息(少改少错,不改就不错)。

           2、可以对开发人员保密线上的连接信息,保证数据安全。

    在开发和部署的时候不用再关心线上、开发、测试环境的数据源不一样,每次上线需要手动修改的麻烦。 

    3、资源库的方式有2种:

                      (1)、文件方式。方便迁移、分布式环境下需要自己解决文件同步。

                      (2)、数据库方式。会有数据库锁的问题。不用维护文件同步问题。集群部署支持好。

                      (3)、读取配置文件的方式,对上面2中资源库类型都是支持的,没有影响。

                              数据库方式的资源库中的数据源连接信息,也可以从配置文件读取(共享的数据源、非共享的数据源都可以)。

     4、kettle配置文件的位置:

                   windows 默认在:C:Users用户.kettle

                   linux 默认在:/root/.kettle/

     5、配置文件:

                   下图是kettle的三个核心配置文件。依次是配置信息文件、资源库配置文件、共享数据源配置文件

     6、我们在kettle界面上看看具体的配置是怎么样的

    (1)、资源库的连接信息:从配置文件中读取

     (2)、数据源的连接信息:从配置文件中读取

     (3)、hadoop的连接信息:从配置文件中读取

     

    7、下面分别看一下三个文件的内容

    (1)、配置信息文件

    这里特别说明:配置好之后,线上、线下只有这个配置文件的内容不一样。其他配置都是一样的。这样在开发好之后可以直接导入线上。连数据源、资源库的连接名都不用改。

    (2)、资源库配置文件

    (3)、共享数据源配置文件

    如果没有配置共享数据源,则这个文件是空的,如果有,跟上图的连接信息类似。

  • 相关阅读:
    超能英雄第一至四季/全集Heroes迅雷下载
    吸血鬼猎人巴菲第一至八季/全集Buffy迅雷下载
    明星伙伴第一至八季/全集Entourage迅雷下载
    实习医生风云第一至九季/全集Scrubs迅雷下载
    阿里云linux图形界面(centos6)
    linux下mysql的root密码忘记解决方
    wdcp支持两种安装方式
    如何搭建lamp(CentOS7+Apache+MySQL+PHP)环境
    丑女贝蒂第一至四季/全集Ugly Betty迅雷下载
    云服务器 ECS Linux 系统安装图形化桌面 (centos7 ubuntu14)
  • 原文地址:https://www.cnblogs.com/double-kill/p/8213894.html
Copyright © 2011-2022 走看看