zoukankan      html  css  js  c++  java
  • Apache Calcite项目简介

    文章导读:

    1. 什么是Calcite?
    2. Calcite的主要功能?
    3. 如何快速使用Calcite?

    什么是Calcite

    Apache Calcite是一个动态数据管理框架,它具备很多典型数据库管理系统的功能,比如SQL解析、SQL校验、SQL查询优化、SQL生成以及数据连接查询等,但是又省略了一些关键的功能,比如Calcite并不存储相关的元数据和基本数据,不完全包含相关处理数据的算法等。

    也正是因为Calcite本身与数据存储和处理的逻辑无关,所以这让它成为与多个数据存储位置(数据源)和多种数据处理引擎之间进行调解的绝佳选择。

    Calcite所做的工作就是将各种SQL语句解析成抽象语法树(AST Abstract Syntax Tree),并根据一定的规则或成本对AST的算法与关系进行优化,最后推给各个数据处理引擎进行执行。

    目前,使用Calcite作为SQL解析与优化引擎的又Hive、Drill、Flink、Phoenix和Storm,Calcite凭借其优秀的解析优化能力,会有越来越多的数据处理引擎采用Calcite作为SQL解析工具。

    Calcite 主要功能

    Calcite的主要功能我们上面其实已经提到了,主要有以下功能:

    SQL解析:通过JavaCC将SQL解析成未经校验的AST语法树

    SQL校验:校验分两部分,一种为无状态的校验,即验证SQL语句是否符合规范;一种为有状态的即通过与元数据结合验证SQL中的Schema、Field、Function是否存在。

    SQL查询优化:对上个步骤的输出(RelNode)进行优化,得到优化后的物理执行计划

    SQL生成:将物理执行计划生成为在特定平台/引擎的可执行程序,如生成符合Mysql or Oracle等不同平台规则的SQL查询语句等

    数据连接与执行:通过各个执行平台执行查询,得到输出结果。

    所以在Calcite中,一条SQL的处理步骤就很清晰了,那么我们通过Calcite的代码来实际了解一下:

    // 初始化配置
    SqlParser.ConfigBuilder configBuilder = SqlParser.configBuilder();
    configBuilder.setUnquotedCasing(Casing.UNCHANGED);
    //Sql解析:解析Sql语句,通过JavaCC解析成AST语法树,表现为SqlNode
    SqlParser sqlParser = SqlParser.create(sql, configBuilder.build());
    SqlNode sqlNode = sqlParser.parseQuery();
    //Sql校验:结合元数据信息验证Sql是否符合规范
    Planner planner = Frameworks.getPlanner(config);
    SqlNode node = planner.validate(sqlNode);
    //Sql查询优化:将SqlNode转换为LogicalPlan,表现为RelNode
    RelRoot relRoot = planner.rel(node);
    RelNode project = relRoot.project();
    //指定优化规则
    final HepProgram program = new HepProgramBuilder() 
        .addRuleInstance(SubQueryRemoveRule.PROJECT)
        .addRuleInstance(SubQueryRemoveRule.FILTER)
        .addRuleInstance(SubQueryRemoveRule.JOIN)
        .build();
    //生成优化后的RelNode
    HepPlanner prePlanner = new HepPlanner(program);
    prePlanner.setRoot(project);
    RelNode relNode = prePlanner.findBestExp();
    //ToDo 执行查询 
    

    使用Calcite

    那么前面对Calcite进行了简单的介绍,我们如何使用Calcite呢?Calcite的使用非常简单,你要做的只是添加数据源即可。我们以Mysql数据源为例,我们通过添加Mysql数据库作为Calcite的数据源,实现通过Calcite对Mysql数据进行查询的Demo。

    //初始化calcite connection
    Class.forName("org.apache.calcite.jdbc.Driver");
    Properties info = new Properties();
    info.setProperty("lex", "JAVA");
    Connection connection =
        DriverManager.getConnection("jdbc:calcite:", info);
    CalciteConnection calciteConnection =
        connection.unwrap(CalciteConnection.class);
    //添加mysql数据库作为数据源
    SchemaPlus rootSchema = calciteConnection.getRootSchema();
    Class.forName("com.mysql.jdbc.Driver");
    BasicDataSource dataSource = new BasicDataSource();
    dataSource.setUrl("jdbc:mysql://localhost");
    dataSource.setUsername("username");
    dataSource.setPassword("password");
    Schema schema = JdbcSchema.create(rootSchema, "hr", dataSource,
        null, "name");
    rootSchema.add("hr", schema);
    //执行查询
    Statement statement = calciteConnection.createStatement();
    ResultSet resultSet = statement.executeQuery(
        "select d.deptno, min(e.empid)
    "
        + "from hr.emps as e
    "
        + "join hr.depts as d
    "
        + "  on e.deptno = d.deptno
    "
        + "group by d.deptno
    "
        + "having count(*) > 1");
    print(resultSet);
    resultSet.close();
    statement.close();
    connection.close();
    

    Calcite提供了多种方式添加数据源,如通过“inline:”的字符串方式以及通过json或yaml文件的方式。同时,Calcite抽象出了功能齐全的接口,可以方便的将CSV文件抽象成数据表进行查询。这部分内容可以通过官方的示例了解一下!

    当然SQL解析、校验与执行计划优化是Calcite的基本功能,Calcite的NB之处在于,Calcite的目标是“one size fits all”,希望能为不同的计算平台和数据源提供统一的查询引擎,并且以类似传统数据库的访问方式(SQL)来访问Hadoop上的数据。所以Calcite提供了非常丰富的可扩展接口,帮助我们实现扩展数据源、扩展针对不同数据源的优化规则、扩展SQL查询语法、扩展数据处理引擎等等。这部分后面会详细介绍(挖坑ing)

    参考资料:
    https://calcite.apache.org/docs/tutorial.html
    https://www.infoq.cn/article/new-big-data-hadoop-query-engine-apache-calcite

    好久不更新了

  • 相关阅读:
    管道通讯
    C++类型转换
    自定义数组容器MyArray框架
    vue 转场动画
    身份证信息 获取年龄性别生日
    element ui +vue 输入 身份证号获取 性别 年龄 籍贯
    获取地理位置
    post 下载二进制pdf文件
    post 文件下载二进制流
    遍历对象的几中方法
  • 原文地址:https://www.cnblogs.com/jixin/p/10500075.html
Copyright © 2011-2022 走看看