当前企业的数据分析需求是越来越多,同时需要自助以及灵活性也越来越多,我们急需灵活同时支持多数据源快速
集成查询,以及快速可视化报表的处理,以下是集合自己的一些了解以及学习,梳理一个简单的数据分析以及数据
展示方案
整体参考架构设计
各层说明
- data mesh 层
主要是使用多种pg fdw 进行数据的集成多种数据源,同时可以添加以下而外的数据处理(比如物化试图,列式存储分析,数据转换) - 数据虚拟化层
基于pgspider,加速多种数据的的查询,提供提供数据源筛选能力,以及健康检查能力 - 通用数据api 层
主要是基于hasura graphql-engine 以及cube.js 的多种数据api 提供能力(rest 以及graphql) - 安全以及api 路由层
基于api gatway(可以是openresty或者apisix 提供或者路由以及安全控制) - 数据展示层
可以基于cube.js 的都这报表数据展示能力以及graphql2chartjs 可以提供灵活的数据展示
说明
以上是一个简单的集成处理,还有好多细节的需要处理
参考资料
https://github.com/hasura/graphql2chartjs
https://github.com/cube-js/cube.js
https://github.com/hasura/graphql-engine
https://github.com/rongfengliang/pgspider-docker
https://hub.docker.com/repository/docker/dalongrong/pgspider
https://github.com/pgspider/pgspider
https://www.cnblogs.com/rongfengliang/p/12368353.html