zoukankan      html  css  js  c++  java
  • 如何统一管理单个任务下所有API的同步情况?

    如何统一管理单个任务下所有API的同步情况

    1. 一分钟完成单个API配置

     

    单个API的配置包含:API名称、URL地址、请求方式、参数设置、自定义高级设置。

     

    参数允许用户填写:Text、WebService、Timestamp、DependOn。

     

    若用户的value是一个数值或者静态数组则选择Text即可,若某一个key的value是动态的,可选择Web Service。

     

    公司的api-key还有symbol(或者signature)是动态的,用户无法给出静态值,所以可通过该功能实现动态传参。

     

    用户可根据每个API的特殊情况完成自定义高级设置:若交易所API有请求频率的限制,可使用「最大请求频率」功能设置。若参数中需要指定分页参数,也可在高级设置中完成。

     

    DataPipeline提供了指定「签名设置」,以及分隔符等其他自定义设置

     

    2. 允许用户在单个任务添加多个API,统一管理相关API

     

    可同时(定时)请求多个API。

     

    可统一管理单个任务下所有API的同步情况。

     

    可动态修改API的任何配置项。

     

    若某个API应用于多个任务时,只要修改一个指定的API即可完成所有任务下同一个API的配置。

     

     

    3. 自定义目标库表结构

     

    用户可以根据需求指定目标库的表名称以及每个字段的所有属性。

     

    DataPipeline会自动检查目标库是否存在重名的情况。

     

    可根据业务需求完成自定义字段内容,包括:字段名称、字段类型、精度、标度、主键以及其他。

     

    4. 可视化调试解析逻辑与解析结果

     

    DataPipeline提供可视化调试工具,内容包括:清洗脚本编辑器、样例数据栏、运行结果栏。

    上半部分为解析脚本编辑器,用户可根据自己的解析逻辑完成解析脚本的录入与修改。

    左下半部分为样例数据栏,系统会自动获取该目的地表对应的API数据,便于用户编辑解析逻辑。

    点击「试运行」,系统会立即返回样例数据经过解析脚本后的结果。若运行结果符合用户预期(与设置的目标库表结构一致),则点击「保存」即可。

     

    5. 运行与监控API任务

     

    当用户完成API配置以及目标库表结构设计,则可以「激活任务」。

     

    DataPipeline 在任务设置上会提供更多个性化设置(定时、读写速率、并发限制、预警通知、错误队列等)。

     

    用户在任务详情页可以很直观地看到每个任务的同步情况,帮助用户降低获取各个API数据的开发和运维成本。

     

      

  • 相关阅读:
    HDU 5412 CRB and Queries 动态整体二分
    POJ 2104 K-th Number
    【模板】可持久化线段树(主席树)
    【AHOI2005】病毒检测
    【HNOI2004】L语言
    P1837 单人纸牌_NOI导刊2011提高(04)
    【USACO15FEB】审查(黄金)Censoring (Gold)
    【USACO12JAN】视频游戏的连击Video Game Combos
    专访阿里云资深技术专家黄省江:中国SaaS公司的成功之路
    干货来了!2019阿里云合作伙伴峰会SaaS加速器专场回顾合集:嘉宾分享、深度解读
  • 原文地址:https://www.cnblogs.com/DataPipeline2018/p/10881024.html
Copyright © 2011-2022 走看看