zoukankan      html  css  js  c++  java
  • Clickhouse学习

    https://www.cnblogs.com/grapelet520/p/11280972.html#_label4

    https://www.jianshu.com/p/a5bf490247ea

    centos 7 下按照Clickhouse

    1.官网下载rpm包:https://packagecloud.io/Altinity/clickhouse
    我个人下载的:

    rpm -ivh clickhouse-server-common-20.1.11.73-1.el7.x86_64.rpm
    rpm -ivh clickhouse-common-static-20.1.11.73-1.el7.x86_64.rpm
    rpm -ivh clickhouse-server-20.1.11.73-1.el7.x86_64.rpm
    rpm -ivh clickhouse-client-20.1.11.73-1.el7.x86_64.rpm

    service clickhouse-server start

    clickhouse-client

    停止:
    service clickhouse-server stop

    启动:
    service clickhouse-server start

    用clickhouse-client连接本机clickhouse-server服务器:
    Clickhouse-client

    用本机clickhouse-client连接远程clickhouse-server服务器:
    clickhouse-client –host 192.168.3.54 –port 9000 –database default–user default –password

    放开远程访问
    vi /etc/clickhouse-server/config.xml
    修改服务器的配置文件/etc/clickhouse-server/config.xml,第88行,放开注释即可,修改之后的内容如下:

    <listen_host>::</listen_host> <--------主要这一行


    2.登录:默认default 用户,无需密码
    创建用户:vim /etc/clickhouse-server/users.xml 修改users.xml文件
    <users>
    .......
    <sangfor> --->用户名
    <networks incl="networks" replace="replace">
    <ip>::/0</ip> ---->允许所有地址访问
    </networks>
    <password>*****123</password> ---->明文密码
    <profile>default</profile>
    <quota>default</quota>
    </sangfor>
    ........
    </users>
    如通过 /etc/clickhouse-server/user.xml 创建用户:sangfor
    指定用户登录:clickhouse-client -u sangfor --password your_pwd

    3.创建数据库:
    CREATE DATABASE test ENGINE = Ordinary;
    创建表:
    CREATE TABLE db.tb1
    (
    `id` UInt16,
    `col1` String,
    `col2` String,
    `create_date` date
    )
    ENGINE = MergeTree(create_date, id, 8192)

    ENGINE:是表的引擎类型,

    MergeTree:最常用的,MergeTree要求有一个日期字段,还有主键。

    Log引擎没有这个限制,也是比较常用。

    ReplicatedMergeTree:MergeTree的分支,表复制引擎。

    Distributed:分布式引擎。

    create_date:是表的日期字段,一个表必须要有一个日期字段。

    id:是表的主键,主键可以有多个字段,每个字段用逗号分隔。

    8192:是索引粒度,用默认值8192即可。

    DROP DATABASE [IF EXISTS] db [ON CLUSTER cluster] #删除数据库
    DROP [TEMPORARY] TABLE [IF EXISTS] [db.]name [ON CLUSTER cluster] #删除表

    drop table if exists test.tb1;

    创建表:
    create table test.tb1 (sdt Date, id UInt16, name String, point UInt16) ENGINE=MergeTree(sdt, (id, name), 10);

    插入数据:
    insert into test.tb1 (sdt, id, name, point) values ('2020-04-28',12,'sangfor',20);

    二、创建表规则 ENGINE = MergeTree(date,id,8192)

    MergeTree引擎提供了根据日期进行索引和根据主键进行索引,同时提供了实时更新数据的功能(如,在写入数据的时候就可以对已写入的数据进行查询,不会阻塞。),mergetree是clickhouse里最先进的表引擎,不要跟merge引擎混淆。

      这个引擎接受参数形式如下:日期类型的列,可选的示例表达式,一个元祖定义了这个表的主键,索引的间隔尺寸。

    MergeTree(EventDate,(CounterID,EventDate),8192)

    包含示例的mergeTree:

    MerTree(EventDate,intHash32(UserId),(CounterID,EventDate,intHash32(UserID)),8192)

    MergeTree

      一个mergetree类型的表必须有一个包含date类型的列,在上面的例子里,该列是EventDate,这个日期列的类型必须是'Date'(不是‘DateTime’)

      这个主键必须是一个元祖,元素内容通常是表里的列或者一个单一的表达式。

      这个可选的示例可以是任何的表达式,但是这个表达式必须出现在主键里.上面的示例里使用的是一个哈希类型的userID,来伪随机的对主键里的CounterID和EventDate进行打散。换句话说,当使用了这个示例列的时候,可以伪随机的将用户打散成为均匀的子集。

      这个表是由很多个part构成。每一个part按照主键进行了排序,除此之外,每一个part含有一个最小日期和最大日期。当插入数据的时候,会创建一个新的sort part,同时会在后台周期性的进行merge的过程,当merge的时候,很多个part会被选中,通常是最小的一些part,然后merge成为一个大的排好序的part。

      换句话说,整个这个合并排序的过程是在数据插入表的时候进行的。这个merge会导致这个表总是由少量的排序好的part构成,而且这个merge本身并没有做特别多的工作。

      在插入数据的过程中,属于不同的month的数据会被分割成不同的part,这些归属于不同的month的part是永远不会merge到一起的。这么做的目的是provide local data modification(比较容易做备份)。

      这些part在进行合并的时候会有一个大小的阈值,所以不会有太长的merge过程。

      对于每一个part,会生成一个索引文件。这个索引文件存储了表里面每一个索引块里数据的主键的value值,换句话说,这是个对有序数据的小型索引。

      对列来说,在每一个索引块里的数据也写入了标记,从而让数据可以在明确的数值范围内被查找到。

      当读表里的数据时,SELECT查询会被转化为要使用哪些索引。这些索引会被用在判断where条件或者prewhere条件中,来判断是否打中了这些索引区间。

      因此,能够快速查询一个或多个主键范围的值。在下面的示例中,能够快速的查询一个明确的counter,指定范围的日期区间里的一个明确的counter,各种counter的集合等。

  • 相关阅读:
    opencv MAT数据操作
    浅谈模式识别中的特征提取
    设置Mysql的连接超时参数
    win7下怎样设置putty免用户名密码登陆
    正则表达式简明参考
    利用 canvas 破解 某拖动验证码
    wamp环境中mysql更改root密码
    Python读写文件
    Python 字符串操作(string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等)
    如何改变placeholder的颜色
  • 原文地址:https://www.cnblogs.com/shiqi17/p/12796854.html
Copyright © 2011-2022 走看看