zoukankan      html  css  js  c++  java
  • Flink Table环境下读写Hive数据

    一、写数据

      向Hive中写数据只尝试了流数据写入Hive,毕竟批数据写入数仓的场景并不多,Flink 1.11对于Hive流处理的支持还是改善很多的,用起来也很方便。

      1、可以直接将流数据转换为Table写入hive(测试环境下采用文件写入DataStream,再转换为Table); 

      2、可以create table name with()直接衔接kafka等数据流。

    二、读数据

      读数据可以采用HQL操作获得Table,但是要注意该Table源自StreamTableSource,是不可转换为DataSet的。由于在调研Alink,算法训练需要批数据的输入,所以对于刚入门Flink的新手比较难办。尝试了一些办法,最终采用了很早之前就有的HCatalog获取DataSource,这样就不愁DataSet的需要了,不过HCatalog的相关文档比较少,还不是很会用,主要调试以下几点:

      1、hive-site.xml文件记得导入,同时需要更改其中的verification的值为false;

      2、需要增加hive-shims、hive-hcatalog-core依赖包。hive的依赖包会有重叠,可以视情况从maven库中删掉些 

  • 相关阅读:
    nuget
    C#枚举中使用Flags特性
    情感分析
    docker
    core部署
    脱壳系列_2_IAT加密壳_详细分析(含脚本)
    安全公司-* * * *-面试题:_ 安卓逆向分析分享
    18_ShadowWalker
    17_页面异常接管
    16_TLB与流水线
  • 原文地址:https://www.cnblogs.com/liziof/p/13503283.html
Copyright © 2011-2022 走看看