zoukankan      html  css  js  c++  java
  • .Net轻松处理亿级数据--clickhouse及可视化界面安装介绍

    该篇内容由个人博客点击跳转同步更新!转载请注明出处!

    前言
    我是在17年就听说过Clickhouse,那时还未接触过亿数据的运算,那时我在的小公司对于千万数据的解决方案还停留在分库分表,最好的也是使用mycat做的集群。这些解决方案都比较复杂,毕竟通常来说那些需要大量存储的数据基本都是像日志,流水等不需要修改的数据,像客户人员等需要经常维护的信息一般项目也就几万左右,在这些不是非常重要的数据上耗太多时间我个人是觉得有点浪费(但毕竟还是要的嘛),直到我到了新公司才重新拾起了对Clickhouse的学习,下面主要介绍下安装以及下篇会介绍一些简单的用法。
    一、ClickHouse简介 文档地址

    CH是由俄罗斯“熊哥”开源的一套用于联机分析(OLAP)的列式数据库管理系统(DBMS),它通过针对性的设计,力图解决海量多维度数据的查询性能问题。小白程序员轻松上手,安装和操作就像mysql一样简单。

    适用于:
    1. 大多数是读请求
    2. 每次写入大于1000行的数据(不适用于单条插入)
    3. 不修改已添加的数据
    4. 每次查询都从数据库中读取大量的行,但是同时又仅需要少量的列
    5. 宽表,即每个表包含着大量的列
    6. 较少的查询(通常每台服务器每秒数百个查询或更少)
    7. 对于简单查询,允许延迟大约50毫秒
    8. 列中的数据相对较小: 数字和短字符串(例如,每个URL 60个字节)
    9. 处理单个查询时需要高吞吐量(每个服务器每秒高达数十亿行)
    10. 事务不是必须的
    11. 对数据一致性要求低
    12. 每一个查询除了一个大表外都很小
    13. 查询结果明显小于源数据,换句话说,数据被过滤或聚合后能够被盛放在单台服务器的内存中
    应用场景

    公交轨迹(我自己的应用场景
    消费转账流水
    日志记录
    天气数据
    ......

    二、ClickHouse安装

    安装方式有多种(暂未支持windows上安装),官方文档上介绍的安装方式感觉有点复杂,下面介绍一种较为简单的安装方式,通过rpm安装包进行安装,git地址:点击跳转
    系统环境:CentOS 7.5
    1、下载包需要curl支持,当前系统没有的话需要先通过yum安装一下

    sudo yum install -y curl
    

    2、下载安装脚本

    curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash
    

    3、检查clickhouse安装包全不全

    sudo yum list 'clickhouse*'
    
    Available Packages
    clickhouse-client.x86_64                18.1.0-1.el7             Altinity_clickhouse
    clickhouse-common-static.x86_64         18.1.0-1.el7             Altinity_clickhouse
    clickhouse-compressor.x86_64            1.1.54336-3.el7          Altinity_clickhouse
    clickhouse-debuginfo.x86_64             18.1.0-1.el7             Altinity_clickhouse
    clickhouse-mysql.noarch                 0.0.20180319-1           Altinity_clickhouse
    clickhouse-server.x86_64                18.1.0-1.el7             Altinity_clickhouse
    clickhouse-server-common.x86_64         18.1.0-1.el7             Altinity_clickhouse
    clickhouse-test.x86_64                  18.1.0-1.el7             Altinity_clickhouse
    

    4、检查没问题的话开始安装服务端和客户端

    sudo yum install -y clickhouse-server clickhouse-client
    

    5、检查安装后的包全不全

     sudo yum list installed 'clickhouse*'
    
    Installed Packages
    clickhouse-client.x86_64                 18.1.0-1.el7           @Altinity_clickhouse
    clickhouse-common-static.x86_64          18.1.0-1.el7           @Altinity_clickhouse
    clickhouse-server.x86_64                 18.1.0-1.el7           @Altinity_clickhouse
    clickhouse-server-common.x86_64          18.1.0-1.el7           @Altinity_clickhouse
    

    6、安装成功后首先运行服务端,默认会使用config.xml作为配置文件,也可以通过--config=xxx来指定配置文件

    sudo service clickhouse-server start
    

    7、客户端运行,这里的命令啥的和mysql很像,一些命令语法都是差不多的,下面简单试下

    clickhouse-client
    
    localhost :) show databases
    SHOW DATABASES
    ┌─name────┐
    │ default │
    │ system  │
    └─────────┘
    
    2 rows in set. Elapsed: 0.030 sec.
    

    这时服务端会有响应信息

    ClickHouse client version 18.1.0.
    Connecting to localhost:9000 as user default.
    Connected to ClickHouse server version 18.1.54396.
    
    :)
    

    三、可视化界面安装,官方文档有介绍很多种工具,这里介绍Tabix

    上面介绍的操作方式都是在linux上进行操作的,结果什么都需要通过终端进行查看,很不方便,好在有第三方可视化Web界面工具Tabix
    操作界面
    Tabix使用安装非常方便,有本地安装和无安装两种方式
    1、无安装方式最简单,直接打开官方提供的地址:点击跳转
    登录
    在上面输入你Clickhouse运行的地址、端口、登录名、密码等信息就好了。
    2、本地安装方式
    本地需要web服务器,所以先安装一个nginx,具体安装不再细说,网上资料有很多,nginx配置

    server {
        listen 80;
        server_name ui.tabix.io;
        charset        utf-8;
        root /var/www/tabix.ui/build;
        location / {
            if (!-f $request_filename) {
                rewrite ^(.*)$ /index.html last;
            }
            index  index.html index.htm;
        }
    }
    

    然后下载最新的安装文件:点击跳转,并且解压将build文件夹拷贝到nginx对应的目录下,然后浏览运行看下效果,具体登录操作和上面一样。

    四、扩充

    集群的安装可参考这篇文章:点击跳转
    使用Prometheus进行系统的监控
    使用Grafana监控数据库的性能

    下一篇将介绍数据操作的一些类库

    微信关注我哦!(转载注明出处)关注我哦

  • 相关阅读:
    git reset 用法
    print、println、printf的区别
    GoLang(2)
    GoLang
    OpenCV 图像叠加or图像混合加权实现
    openpyxl
    EJB 的理解
    inotify-tool实时监控服务器文件状态变化 学习总结
    使用docker 安装maven私服 nexus
    dockerfile 学习总结
  • 原文地址:https://www.cnblogs.com/ShaoJianan/p/11155188.html
Copyright © 2011-2022 走看看