s3 是一个很不错的文件存储系统，以下是一个简单的试用s3 fdw （使用https://github.com/smomni/s3_fdw_py）此版本兼容pg11
同时使用了python3 开发，使用multicorn （很强大）
环境准备
- 说明
s3_fdw 的docker 镜像以及原有的已经push docker hub 了dalongrong/pg-s3-fdw - docker-compose 文件
version: "3"
services:
postgres:
image: dalongrong/pg-s3-fdw:latest
environment:
- POSTGRES_PASSWORD=dalong
ports:
- 5432:5432
minio:
image: minio/minio
environment:
- MINIO_ACCESS_KEY=dalongrong
- MINIO_SECRET_KEY=dalongrong
ports:
- 9000:9000
command: server /data
- 启动&&初始化数据
依赖的文档参考 https://github.com/rongfengliang/pg-s3-fdw-learning
docker-compose up -d
启动之后打开 <a href="http://localhost:9000">http://localhost:9000</a> 账户信息 dalongrong dalongrong
创建桶，同时上传文档apps.csv 以及users.csv 到minio
使用s3 fdw
- 创建扩展
CREATE EXTENSION multicorn;
- 创建server
CREATE SERVER multicorn_es FOREIGN DATA WRAPPER multicorn
OPTIONS (
wrapper 's3_fdw.S3ForeignDataWrapper'
);
- 创建外部表映射
// users
CREATE FOREIGN TABLE users
(
name text,
age int,
tel TEXT,
app TEXT
)
SERVER multicorn_es
OPTIONS
(
bucket_name 'apps',
object_name 'users.csv',
access_key 'dalongrong',
secret_key 'dalongrong',
endpoint_url 'http://minio:9000'
);
// apps
CREATE FOREIGN TABLE apps
(
name text,
version text
)
SERVER multicorn_es
OPTIONS
(
bucket_name 'apps',
object_name 'apps.csv',
access_key 'dalongrong',
secret_key 'dalongrong',
endpoint_url 'http://minio:9000'
);
- 数据查询
select * from users a join apps b on a.app=b.name;
- 效果
说明
通过s3 fdw 集成s3数据到pg还是一个很不错的，可以灵活的进行数据分析，同时集成pgspider 可以实现类似greenplum 的功能
参考资料
https://github.com/rongfengliang/pg-s3-fdw-learning
https://github.com/smomni/s3_fdw_py