zoukankan      html  css  js  c++  java
  • Singer 学习五 docker 运行说明

    介绍过一个工具knots ,方便Singer 可视化开发的工具,但是默认这个工具包含的tap 以及target 比较少(可以自己扩展)
    同时这个工具就是基于docker 运行的

    docker 运行的几点说明

    • 使用交互模式
    • 开发环境建议使用数据卷挂载的模式
    • 生产环境我们可以直接按照tag 进行打包

    docker 运行模式的参考脚本

    从knots 的makefile 文件摘取,实际上可以自己写,很简单

    • 脚本文件
    docker run -v "$(CURDIR)/tap:/app/tap/data" --interactive $(TAP_IMAGE) $(TAP) -c tap/data/config.json --catalog tap/data/catalog.json | docker run -v "$(CURDIR)/target:/app/target/data" --interactive $(TARGET_IMAGE) $(TARGET) -c target/data/config.json > tap/state.json
    • 说明
    TAP_IMAGE 为包含了安装好pip 包的基础镜像
    TAP 为tag 的名称,使用的是TAP_IMAGE 中的命令行工具
    TARGET_IMAGE  为包含了按照好了pip 包的基础镜像
    TARGET 为target 的名称,使用的是TARGET_IMAGE中的命令行工具
    -v  指定了对应tap 以及target 的配置参数,或者通过发现,设置了同步策略的schema信息
    实际上为了减少磁盘空间,我们可以加上--rm 参数
     

    参考资料

    https://github.com/singer-io/knots

  • 相关阅读:
    初探 Linux
    操作系统简介
    1208. 尽可能使字符串相等
    643. 子数组最大平均数 I
    480. 滑动窗口中位数
    Bisect in Python
    HTTP 和 HTTPS 的区别
    URI和URL的区别
    HTTP 1.0和HTTP 1.1的主要区别是什么?
    MySQL游标的使用笔记大全
  • 原文地址:https://www.cnblogs.com/rongfengliang/p/10243717.html
Copyright © 2011-2022 走看看