zoukankan      html  css  js  c++  java
  • 【NIFI】 Apache NiFI 与 SQL 操作

      本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用

    查询SQL

      1、拖入一个 Processor:ExecuteSQLRecord(执行sql记录)

      2、配置,SETTINGS的Automatically Terminate Relationships ,都选上

      3、配置,PROPERTIES

        a、配置数据库连接服务(创建数据库连接服务 -> 添加默认的DBCPConnectionPool -> 设置连接服务 -> 配置数据库连接信息 -> 激活连接服务)
             

             

             

        b、设置SQL select query,语句:Select id,name From user

        c、设置Record Writer,记录服务(创建记录服务 -> 添加JsonRecordSetWriter -> 编辑JsonRecordSetWriter -> 在JsonRecordSetWriter添加AvroSchemaRegistry -> 编辑AvroSchemaRegistry -> AvroSchemaRegistry添加内容(内容是Avro格式)--> 激活AvroSchemaRegistry -> 激活JsonRecordSetWriter )

             

           编辑JsonRecordSetWriter

             

          AvroSchemaRegistry添加内容

             

      4、拖入一个 Processor:PutFile(输出)

            

      5、将ExecuteSQLRecord与PutFIle关联起来,从ExecuteSQLRecord中心点击,拖拉到PutFIle上

      6、启用2个Processor,可以看到输出文件夹中新生成了文件,文件内容即数据库中查出来的数据,是json形式的,如下:

        

        

    插入SQL

      1、拖入一个 Processor:GenerateFlowFile(生成sql语句)

        

      2、编辑GenerateFlowFile,写入内容

           

      3、拖入一个 Processor:PutSQL(执行sql语句)

        

      4、配置:PutSQL,数据库连接使用的是上例中的连接池

           

      5、将GenerateFlowFile与PutSQL关联起来,从GenerateFlowFile中心点击,拖拉到PutSQL上

      6、启用2个Processor,在数据库中查看,数据库中已经有了插入的数据

        

  • 相关阅读:
    网络IO之阻塞、非阻塞、同步、异步总结
    C语言栈与调用惯例
    多个文件目录下Makefile的写法
    利用 mount 指令解决 Read-only file system的问题
    error while loading shared libraries: xxx.so.x" 错误的原因和解决办法
    Centos6.4下安装protobuf及简单使用
    Centos下修改启动项和网络配置
    Centos下配置单元测试工具gtest
    Centos配置为驱动程序开发环境
    Centos安装gcc及g++
  • 原文地址:https://www.cnblogs.com/h--d/p/10081777.html
Copyright © 2011-2022 走看看