基于dremio arp sdk 开发一个cratedb 连接器

目的比较简单，就是学习下dremio 基于arp模式的连接器开发，目前我们可以看到一些官方的demo
但是还是自己尝试下，同时也记录下开发过程中踩的坑

环境准备

基于13 版本

• maven 项目结构
  为了方便jar 包的分发，使用了shade 扩展

 

├── README.md

├── pom.xml

├── src

│   ├── main

│   │   ├── java

│   │   │   └── com

│   │   │       └── dremio

│   │   │           └── exec

│   │   │               └── store

│   │   │                   └── jdbc

│   │   │                       └── conf

│   │   │                           └── CrateConf.java

│   │   └── resources

│   │       ├── arp

│   │       │   └── implementation

│   │       │       └── crate-arp.yaml

│   │       └── sabot-module.conf

 

• 代码说明
  pom.xml 主要是依赖以及插件配置,对于集成我们主要包含了关于cratedb jdbc 驱动，方便分发使用

 

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"

         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

 

    <groupId>com.dalong</groupId>

    <artifactId>demodremio-driver</artifactId>

    <version>1.2-SNAPSHOT</version>

 

    <properties>

        <maven.compiler.source>8</maven.compiler.source>

        <maven.compiler.target>8</maven.compiler.target>

        <version.dremio>13.0.0-202101272034330307-20fb9275</version.dremio>

    </properties>

   <dependencies>

       <dependency>

           <groupId>com.dremio.community.plugins</groupId>

           <artifactId>dremio-ce-jdbc-plugin</artifactId>

           <version>${version.dremio}</version>

           <scope>compile</scope>

       </dependency>

       <dependency>

           <groupId>io.crate</groupId>

           <artifactId>crate-jdbc</artifactId>

           <version>2.6.0</version>

       </dependency>

   </dependencies>

    <build>

        <plugins>

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-shade-plugin</artifactId>

                <version>3.2.3</version>

                <executions>

                    <execution>

                        <phase>package</phase>

                        <goals>

                            <goal>shade</goal>

                        </goals>

                        <configuration>

                            <artifactSet>

                                <includes>

                                    <include>io.crate:crate-jdbc</include>

                                </includes>

                            </artifactSet>

                        </configuration>

                    </execution>

                </executions>

            </plugin>

        </plugins>

    </build>

    <repositories>

        <repository>

            <id>tencent-public</id>

            <url>http://mirrors.cloud.tencent.com/nexus/repository/maven-public/</url>

        </repository>

        <repository>

            <id>dremio-public</id>

            <url>http://maven.dremio.com/public/</url>

        </repository>

        <repository>

            <id>dremio-free</id>

            <url>http://maven.dremio.com/free/</url>

        </repository>

    </repositories>

</project>

sabot-module.conf 关于插件注册类扫描配置的，比较重要的配置（基于hocon）
看到网上好多的插件都是com.dremio.exec.store.jdbc 的，经过测试实际上并不是的，可以是其他的

 

#

# Copyright (C) 2017-2019 Dremio Corporation

#

# Licensed under the Apache License, Version 2.0 (the "License");

# you may not use this file except in compliance with the License.

# You may obtain a copy of the License at

#

#     http://www.apache.org/licenses/LICENSE-2.0

#

# Unless required by applicable law or agreed to in writing, software

# distributed under the License is distributed on an "AS IS" BASIS,

# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

# See the License for the specific language governing permissions and

# limitations under the License.

#

 

//  This file tells Dremio to consider this module when class path scanning.

//  This file can also include any supplementary configuration information.

//  This file is in HOCON format, see https://github.com/typesafehub/config/blob/master/HOCON.md for more information.

dremio.classpath.scanning.packages += "com.dremio.exec.store.jdbc"

类型映射处理配置（很方便，对于sql 的处理我们基于配置就可以搞定了，比如分页。。。，尽管cratedb 兼容pg，但是不是pg，分页是不一样的）
此文件内容比价多，实际可以参考pg 的，目前就做了分页的处理，实际上cratedb 有自己的数据类型的 （代码附带在github 中）

 

metadata:

  name: Cratedb

  apiname: crate

  spec_version: '1'

 

syntax:

  identifier_quote: '"'

  allows_boolean_literal: true

  inject_numeric_cast_project: true

  supports_catalogs: false

  supports_schemas: false

核心代码
CrateConf.java demio arp plugin开发的一个约定，主要实现类型配置，driver 链接，以及关于sql 方言的处理
同时关于db 连接的信息也是可以基于配置说明的，如果需要优化布局，可以自己定义一个layout 的json 文件

 

package com.dremio.exec.store.jdbc.conf;

 

import com.dremio.exec.catalog.conf.DisplayMetadata;

import com.dremio.exec.catalog.conf.NotMetadataImpacting;

import com.dremio.exec.catalog.conf.Secret;

import com.dremio.exec.catalog.conf.SourceType;

import com.dremio.exec.store.jdbc.CloseableDataSource;

import com.dremio.exec.store.jdbc.DataSources;

import com.dremio.exec.store.jdbc.JdbcPluginConfig;

import com.dremio.exec.store.jdbc.JdbcSchemaFetcherImpl;

import com.dremio.exec.store.jdbc.dialect.arp.ArpDialect;

import com.dremio.exec.store.jdbc.dialect.arp.ArpYaml;

import com.dremio.options.OptionManager;

import com.dremio.security.CredentialsService;

import com.google.common.annotations.VisibleForTesting;

import io.protostuff.Tag;

 

import java.sql.SQLException;

import java.util.Properties;

 

import static com.google.common.base.Preconditions.checkNotNull;

 

@SourceType(value = "CRATEDB", label = "CRATEDB", uiConfig = "crate-layout.json")

public class CrateConf extends AbstractArpConf<CrateConf> {

    private static final String ARP_FILENAME = "arp/implementation/crate-arp.yaml";

    // 基于yaml 文件生成sql 方言处理（注意yaml schema 的学习，可以通过源码，或者反编译官方jdbc plugin 的源码）

    private static final ArpDialect ARP_DIALECT = AbstractArpConf.loadArpFile(ARP_FILENAME, CratedbDialect::new);

    private static final String DRIVER = "io.crate.client.jdbc.CrateDriver";

    static class CratedbSchemaFetcher extends JdbcSchemaFetcherImpl {

 

        public CratedbSchemaFetcher(JdbcPluginConfig config) {

            super(config);

        }

        protected boolean usePrepareForColumnMetadata() {

            return true;

        }

        protected boolean usePrepareForGetTables() {

            return true;

        }

    }

    // 主要实现关于方言的处理，目前比较简单，主要是关于schema 的，同时我们关于cratedb 一些特殊sql

   的处理也可以在这里编写

    static class CratedbDialect extends ArpDialect {

 

        public CratedbDialect(ArpYaml yaml) {

            super(yaml);

        }

 

        @Override

        public JdbcSchemaFetcherImpl newSchemaFetcher(JdbcPluginConfig config) {

            return new CratedbSchemaFetcher(config);

        }

 

        public boolean supportsNestedAggregations() {

            return false;

        }

    }

    // ui 元素描述

    @Tag(1)

    @DisplayMetadata(label = "username")

    @NotMetadataImpacting

    public String username = "crate";

 

    @Tag(2)

    @DisplayMetadata(label = "host")

    public String host;

 

    @Tag(3)

    @Secret

    @DisplayMetadata(label = "password")

    @NotMetadataImpacting

    public String password = "";

 

    @Tag(4)

    @DisplayMetadata(label = "port")

    @NotMetadataImpacting

    public int port = 5432;

 

    @Tag(5)

    @DisplayMetadata(label = "Record fetch size")

    @NotMetadataImpacting

    public int fetchSize = 200;

 

    @Tag(6)

    @NotMetadataImpacting

    @DisplayMetadata(label = ENABLE_EXTERNAL_QUERY_LABEL)

    public boolean enableExternalQuery = false;

 

    @VisibleForTesting

    public String toJdbcConnectionString() {

        final String username = checkNotNull(this.username, "Missing username.");

        // format crate://localhost:5433/

        final String format = String.format("crate://%s:%d/", this.host, this.port);

        return format;

    }

    // 比较核心的，关于插件数据库连接的处理

    @Override

    @VisibleForTesting

    public JdbcPluginConfig buildPluginConfig(

            JdbcPluginConfig.Builder configBuilder,

            CredentialsService credentialsService,

            OptionManager optionManager

    ) {

 

        return configBuilder.withDialect(getDialect())

                .withFetchSize(fetchSize)

                .withSkipSchemaDiscovery(true)

                .clearHiddenSchemas()

                .addHiddenSchema("sys")

                .withDatasourceFactory(this::newDataSource)

                .withAllowExternalQuery(enableExternalQuery)

                .build();

    }

   // 数据源创建的说明

    private CloseableDataSource newDataSource() throws SQLException {

        Properties properties = new Properties();

        CloseableDataSource dataSource = DataSources.newGenericConnectionPoolDataSource(DRIVER,

                toJdbcConnectionString(), this.username, this.password, properties, DataSources.CommitMode.DRIVER_SPECIFIED_COMMIT_MODE);

        return  dataSource;

    }

 

    @Override

    public ArpDialect getDialect() {

        return ARP_DIALECT;

    }

}

• 构建

mvn clean pacakge

使用

基于docker 运行

• docker 镜像

FROM dremio/dremio-oss:13.0

COPY demodremio-driver-1.2-SNAPSHOT.jar /opt/dremio/jars/

• 启动试用
  基于docker-compose
  具体配置，参考 https://github.com/rongfengliang/dremio-cluster-learning

 

version: "3"

services:

  zookeeper:

    image: zookeeper

    ports:

    - "2181:2181"

    - "8080:8080"

  dremio1:

    image: dalongrong/dremio-oss:13.0

    environment:

     - DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.collation.name=UTF-16LE$en_US

    volumes: 

    - "./dremio1.conf:/opt/dremio/conf/dremio.conf"

    - "./datas/data:/opt/dremio/data"

    ports:

      - "9047:9047"

      - "31010:31010"

  crate:

    image: crate

    ports:

    - "4200:4200"

    - "5433:5432"

  dremio2:

    image: dalongrong/dremio-oss:13.0

    environment:

     - DREMIO_JAVA_SERVER_EXTRA_OPTS=-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.collation.name=UTF-16LE$en_US

    volumes: 

    - "./dremio3.conf:/opt/dremio/conf/dremio.conf"

    ports:

      - "9048:9047"

      - "31011:31010"

  pg:

    image: postgres:12

    environment:

      - "POSTGRES_PASSWORD=dalong"

    ports:

      - "5432:5432"

  mongo:

    image: mongo

    ports:

    - "27017:27017"

  minio: 

    image: minio/minio

    command: server /data

    ports: 

    - "9000:9000"

    environment:

      - "MINIO_ACCESS_KEY=minio"

      - "MINIO_SECRET_KEY=minio123"

• 使用插件

启动之后，可以在cratedb 创建一些测试数据

配置

sql 查询

一些问题

• schema 的问题
  因为cratedb 的特殊性，在处理查询的时候总是不对（schema 处理没问题），所以后边就禁用了schema 的自动发现（withSkipSchemaDiscovery(true)），同时对于schema 获取的处理
  都使用了true 的返回值(usePrepareForColumnMetadata,usePrepareForGetTables) 此处是一个比较重要的，不然很费事（我折腾了好久）
• 布局问题
  我们可以自己定义ui 元素的布局，目前官方文档暂时缺少完整的说明，但是可以结合源码学习
• 图标问题
  自己开发的plugin 是自己图标的，需要使用svg，同时注意命名为自己SourceType 的value 名称
• 数据反射问题
  因为默认schema 不自动发现了，开始的时候反射是不好使的，但是在运行之后schema 会有cache的，我们依然就可以使用dremio强大的反射能力了

说明

以上是一个简单的dremio 插件开发的说明，详细代码可以参考github，同时多看官方文档，以及源码会比较好

参考资料

https://github.com/rongfengliang/cratedb-dremio-connector
https://www.dremio.com/tutorials/how-to-create-an-arp-connector/
https://github.com/narendrans/dremio-snowflake