zoukankan      html  css  js  c++  java
  • Apache Hudi 0.7.0版本重磅发布

    重点特性

    1. Clustering

    0.7.0版本中支持了对Hudi表数据进行Clustering(对数据按照数据特征进行聚簇,以便优化文件大小和数据布局),Clustering提供了更灵活地方式增加文件大小,有了Clustering特性,便可更快速地摄取数据,然后聚簇为更大的文件,实验数据表明查询性能可以提升34倍,文件数可以减少1020倍;另外Clustering对于查询侧优化也很明显,在查询时通常会基于字段进行Clustering,通过完全跳过一些文件来极大提升查询性能,这与云数仓Snowflake提供的Clustering功能非常类似,我们非常高兴地宣称这个特性在0.7.0版本中完全开源免费。

    想要了解更多Clustering细节,可以参考RFC-19,可以查阅这些配置来在你的数据管道中启用Clustering,现在Hudi支持同步和异步的Clustering模式。

    2. Metadata表

    Hudi项目始于Uber,开始是基于HDFS实现的数据湖,对于云上对象存储的数据湖性能不如HDFS。在0.7.0版本,我们解决了该问题,即支持了内部Metadata表,此表可存储索引数据,其他元数据信息等。

    Metadata表的实现使用了Hudi MOR表,这意味着像其他任何Hudi表一样,可以被压缩(Compaction)、清理(Clean)、增量更新(incrementally updated)。 而且与其他项目中的类似实现不同,我们选择将文件列表等信息索引为HFile格式(格式可插拔),HFile提供了很好的点查性能,可以高效获取分区文件列表等信息。

    在0.7.0版本中,在写入端配置hoodie.metadata.enable=true即可构建Metadata表,这样后续操作将不再调用fs.listStatus()接口,我们引入了一种同步机制来保证对数据timeline中进行的文件新增/删除操作都会同步到Metadata表。

    测试有25W个文件的表,Metadata表相比使用Spark并发Listing要快2~3倍,更多设计细节可查阅RFC-15,其他Metadata表相关配置可参考这里,提供了参数以便在生产环境中安全使用该特性。

    3. Flink/Java客户端

    Hudi最开始设计时依赖Spark,但随着项目成为Apache顶级项目,我们意识到需要抽象内部表格式、表服务、写入层的代码以支持更多的引擎。在0.7.0版本,我们完成了写入层的解耦,添加了Flink和Java客户端,现在你可以使用HoodieFlinkStreamer来消费Kafka中的数据,以写入Hudi的COW表中。

    4. 写入端优化

    • Spark3支持;0.7.0版本支持使用Spark3进行写入和查询,请注意使用scala 2.12版本的hudi-spark-bundle包
    • 并行Listing;我们已将所有List操作移至HoodieTableMetadata接口下,该接口可以多线程/Spark并行执行,该优化可以在未开启Metadata表时提升清理、压缩性能。
    • Kafka Commit Callbacks;0.7.0添加了HoodieWriteCommitKafkaCallback接口,当每次进行commit后可以向Kafka中发送事件,以此来触发派生/ETL数据管道,类似Apache Airflow中的Sensors
    • Insert Overwrite/Insert Overwrite Table;0.7.0版本中新增了这两种操作类型,主要用于批处理ETL作业,该作业通常会在每次运行时覆盖整个表/分区。考虑到这些操作可以批量替换目标表,因此这些操作比upsert更合适,请查看[示例](/docs/ quick-start-guide.html#insert-overwrite-table)。
    • 删除分区支持:对于使用WriteClient/RDD级别API的用户,Hudi提供了一个新的API来删除整个分区,而不是采用记录级别删除方式。
    • 新增DefaultHoodieRecordPayload解决乱序问题;当前默认的OverwriteWithLatestAvroPayload将覆盖存储中已有的值,即使使用较旧值进行upsert。0.7.0版本添加了一个新的DefaultHoodieRecordPayload和一个有效负载配置hoodie.payload.ordering.field来指定一个字段,可以将传入的upsert记录与已存储的记录进行比较,以决定是否覆盖。推荐用户使用这种更新、更灵活的Payload模型。
    • Hive同步;支持使用SlashEncodedHourPartitionValueExtractor同步小时分区至Hive中。
    • 支持IBM云对象存储、Open Java 9版本。

    5. 查询端优化

    • MOR增量查询(Spark Datasource),0.7.0版本支持使用Spark datasource增量查询MOR表,在后续版本中会继续加强和重构该特性。
    • Metadata表支持File Listings,用户还可以将元数据表用于以下查询端,对于Hive,设置hoodie.metadata.enable = true会话
      属性,对于使用SparkSQL查询注册的Hive表,请使用参数--conf spark.hadoop.hoodie.metadata.enable = true来允许从元数据中获取分区的文件列表,而非使用File Listing。

    贡献者

    prashantwasonTrevor-zhangsatishkothanbalajeewangxianghuhddongnsivabalanxushiyancdmikechengaryli1019kwondwsreeram26chuangehhzhedoubushishimodi95linshan-maKarl-WangSKbvaradarliujinhui1994shenh062326xushiyanpratyakshsharmaafilipchikKaiuxlw309637554vinothchandardugenkui03leesfyanghuarmpiferhj2016guykhazmabhasudhahotienvun3nashv3nkateshpengzhiwei2018yui2010jshmchenxidanny0405yui2010lichang-bdnbalajeeumehrot2

    PS:如果您觉得阅读本文对您有帮助,请点一下“推荐”按钮,您的“推荐”,将会是我不竭的动力!
    作者:leesf    掌控之中,才会成功;掌控之外,注定失败。
    出处:http://www.cnblogs.com/leesf456/
    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
    如果觉得本文对您有帮助,您可以请我喝杯咖啡!

  • 相关阅读:
    通过数据库查看EBS的登录地址
    重启redis报错:Waiting for Redis to shutdown
    Tomcat8启动报there was insufficient free space available after evicting expired cache entries
    EBS安装过程报错,oracle.apps.fnd.txk.config.ProcessStateException: FileSys OS COMMAND Failed : Exit=2 See log for details.
    CentOS系统将UTC时间修改为CST时间
    Tomcat启动时报错,Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContext
    LICEcap 录制Gif动画
    Java 8 Optional In Depth
    IntelliJ IDEA推荐插件
    Java 8 – Convert Map to LIST
  • 原文地址:https://www.cnblogs.com/leesf456/p/14354382.html
Copyright © 2011-2022 走看看