zoukankan      html  css  js  c++  java
  • 实战| 配置DataDog监控Apache Hudi应用指标

    1. 可用性

    在Hudi最新master分支,由Hudi活跃贡献者Raymond Xu贡献了DataDog监控Hudi应用指标,该功能将在0.6.0 版本发布,也感谢Raymond的投稿。

    2. 简介

    Datadog是一个流行的监控服务。在即将发布的Apache Hudi 0.6.0版本中,除已有的报告者类型(Graphite和JMX)之外,我们将引入通过Datadog HTTP API报告Hudi指标的功能。

    3. 配置

    类似于其他支持的报告者,启用Datadog报告者需要以下两个属性。

    hoodie.metrics.on=true
    hoodie.metrics.reporter.type=DATADOG
    

    下面的属性用来配置Datdog API站点。它会决定请求被发送给api.datadoghq.eu (EU) 还是 api.datadoghq.com (US)。根据你的Datadog账号作相应配置。

    hoodie.metrics.datadog.api.site=EU # 或者 US
    

    hoodie.metrics.datadog.api.key可以让你配置API密匙。

    hoodie.metrics.datadog.api.key=<你的API密匙>
    hoodie.metrics.datadog.api.key.supplier=<你的API密匙提供者>
    

    出于安全性考虑,你可能会选择在运行时返回API密匙。要使用这个方法,需要实现java.util.function.Supplier<String>。并把实现类的完整类名设置到hoodie.metrics.datadog.api.key.supplier。由于hoodie.metrics.datadog.api.key有更高的优先级,也要确保它没有设置。

    下面的属性用来配置指标前缀,从而区分不同job的指标。

    hoodie.metrics.datadog.metric.prefix=<你的指标前缀>
    

    注意这里.会被用来隔离前缀和指标名。比如,如果前缀是foo,则foo.会被加在指标名称前。

    其他的可选属性在配置参考页里有相关解释。

    4. 示例演示

    在这个示例中,我们运行了一个HoodieDeltaStreamer,启用了指标收集并做了相应的配置。

    如图所示,我们能收集到Hudi操作相关的指标,比如

    • <前缀>.<表名>.commit.totalScanTime
    • <前缀>.<表名>.clean.duration
    • <前缀>.<表名>.index.lookup.duration

    以及HoodieDeltaStreamer相关的指标。

    • <前缀>.<表名>.deltastreamer.duration
    • <前缀>.<表名>.deltastreamer.hiveSyncDuration

    . 总结

    Hudi提供了多种报告者,方便监控Hudi应用运行时的各项指标,及时发现系统中的问题。

  • 相关阅读:
    IE、FF、Chrome浏览器中的JS差异介绍
    防止 jsp被sql注入的五种方法
    读取Excel数据到Table表中
    C#获取IP地址
    JavaScript之web通信
    Unity使用 转载
    EF5 通用数据层 增删改查操作,泛型类
    Entity FrameWork 5 增删改查 & 直接调用sql语句
    asp.net重启web应用程序域
    .net创建activex实现摄像头拍照
  • 原文地址:https://www.cnblogs.com/leesf456/p/13039848.html
Copyright © 2011-2022 走看看