zoukankan      html  css  js  c++  java
  • pgspider cstore fdw docker 镜像试用

    cstore_fdw 是citus 团队开源的pg 列式存储扩展,可以加速我们的数据分析,关于列式存储以及行式存储的比较
    可以参考下边连接的动图(来自clickhouse 官方网站)
    https://clickhouse.tech/docs/en/

    以下是关于cstore fdw 的简单使用

    环境准备

    • docker-compose 文件
     
    version: '3'
    services:
      pgspider-cstore:
        image: dalongrong/pgspider:cstore
        ports: 
        - "5433:5432"
        environment: 
        - "POSTGRES_PASSWORD=dalong"
    • 启动&&初始化数据
    启动docker-compose 服务
    docker-compose up -d
    下载demo 数据
    wget http://examples.citusdata.com/customer_reviews_1998.csv.gz
    wget http://examples.citusdata.com/customer_reviews_1999.csv.gz
    加压文件:
    gzip -d customer_reviews_1998.csv.gz
    gzip -d customer_reviews_1999.csv.gz
    copy 数据到容器,使用docker cp 命令

    使用cstore fdw

    • 启用扩展
    CREATE EXTENSION cstore_fdw;
    • 创建server
    CREATE SERVER cstore_server FOREIGN DATA WRAPPER cstore_fdw;
    • 创建外部表
    CREATE FOREIGN TABLE customer_reviews
    (
        customer_id TEXT,
        review_date DATE,
        review_rating INTEGER,
        review_votes INTEGER,
        review_helpful_votes INTEGER,
        product_id CHAR(10),
        product_title TEXT,
        product_sales_rank BIGINT,
        product_group TEXT,
        product_category TEXT,
        product_subcategory TEXT,
        similar_product_ids CHAR(10)[]
    )
    SERVER cstore_server
    OPTIONS(compression 'pglz');
    • 导入数据

      容器内部

    导入数据:
    COPY customer_reviews FROM 'customer_reviews_1998.csv' WITH CSV;
    COPY customer_reviews FROM 'customer_reviews_1999.csv' WITH CSV;
    • 查询
    SELECT
        customer_id, review_date, review_rating, product_id, product_title
    FROM
        customer_reviews
    WHERE
        customer_id ='A27T7HVDXA3K2A' AND
        product_title LIKE '%Dune%' AND
        review_date >= '1998-01-01' AND
        review_date <= '1998-12-31';
    • 效果

    说明

    实际如果为了生成cstore的列式数据,我们可以通过pg_cron 扩展,集成起来都是很不错的

    参考资料

    https://github.com/citusdata/cstore_fdw
    https://github.com/citusdata/pg_cron
    https://github.com/rongfengliang/pgspider-docker

  • 相关阅读:
    5.11号团队冲刺(十)
    5.10号团队冲刺(九)
    python day04
    python day03
    python day02
    python day01
    模板语法标签继承关系
    DNS解析详情
    和域名相关的知识
    Webpack 4.X webpack.config.js 文件配置(一)
  • 原文地址:https://www.cnblogs.com/rongfengliang/p/12355547.html
Copyright © 2011-2022 走看看