zoukankan      html  css  js  c++  java
  • ClickHouse 系列报错

    1. ClickHouse 查询时,报错:Memory limit (for query) exceeded: would use 9.38 GiB (attempt to allocate chunk of 135439453 bytes), maximum: 9.31 GiB

    1.1 ClickHouse 环境

    1.2 报错原因

    默认情况下,ClickHouse会限制group by使用的内存量(它使用 hash table来处理group by)。这很容易解决 - 如果你有空闲的内存,增加这个参数

    1.3 解决方法

    1. 内存足够情况下
    SET max_memory_usage = 128000000000; #128G
    
    2. 内存不足情况下

    GROUP BY中允许将临时数据转存到磁盘上,以限制对内存的使用

    set max_bytes_before_external_group_by=20000000000; #20G,默认值为0,表示在GROUP BY中启动将临时数据转存到磁盘上的内存阈值。
    
    # 使用max_bytes_before_external_group_by时,建议将max_memory_usage设置为它的两倍。这是因为一个聚合需要两个阶段来完成:
    #(1)读取数据并形成中间数据 
    #(2)合并中间数据。临时数据的转存只会发生在第一个阶段。
    # 如果没有发生临时文件的转存,那么阶段二将最多消耗与1阶段相同的内存大小。
    set max_memory_usage=40000000000; #40G
    

    参考:https://clickhouse.yandex/docs/zh/query_language/select/

  • 相关阅读:
    Domain Model
    linux 后台运行命令
    morphia(3)-查询
    [八省联考2018] 劈配
    [BZOJ 3218] a+b Problem
    [学习笔记] KM算法
    [HNOI2013] 消毒
    [HNOI2014] 画框
    [HDU 6057] Kanade's convolution
    [模板] 任意模数多项式乘法
  • 原文地址:https://www.cnblogs.com/wuning/p/12156915.html
Copyright © 2011-2022 走看看