zoukankan      html  css  js  c++  java
  • 【转载】工业大数据漫谈12:实时数据库与时序数据库

    转自:http://blog.csdn.net/guanhui1997/article/details/72840769

    工业大数据漫谈12:实时数据库与时序数据库

    在工业大数据数据库存储领域,除了传统的关系型数据库和分布式数据库以外,还有一种类型的数据库是非常常用,而且是非常有必要的,就是实时数据库和时序数据库。

    实时数据库诞生于美国,主要是因为现代工业制造流程及大规模工业自动化的发展,导致大量的测量数据需要集成和存储,而采用关系数据库难以满足速度和容量的要求,因此在80年代中期,开始诞生了适用于工业监控领域的实时数据库。

    实时数据库其实并不单单只是一个数据库,而是一个系统,包括对各类工业接口的数据采集,海量监测数据的压缩、存储及检索,基于监测数据的反馈及控制功能等。

    实时数据库的出现,主要是为了解决当时关系型数据库不太擅长的领域,包括:

    1、海量数据的实时读写操作

    工业监控数据要求采集速度和响应速度均是毫秒级的,一个大型企业几万甚至几十万监测点都是常有的事情,这么大容量的高频数据,如果用关系数据库进行存储,由于关系库本身设计的理念,导致它很难进行每秒几十万的数据的读写操作,而实时数据库通过转为快速读写设计的时标型数据结构、高频缓存等技术,可以实现海量数据的实时读写操作。

    2、大容量数据的存储

    由于数据采集是海量的监控数据,那么如果用传统数据库进行存储,将会占用大量的存储空间,如果我们用关系数据库保存10000个监测点,每个监测点每秒钟采集一次双精度数的数据,即使不考虑索引等因素,也需要5-6T的存储空间,这里还不包括存储跟监测点相关的时间等因素,如果都包括,再建立索引,则需要15T-20T的存储空间。实时数据库采用了专门的压缩算法,包括哈佛曼算法、旋转门算法以及一些二次压缩算法,压缩比普遍能够达到30:1左右,再加上对于时间及索引的特殊处理,存储量能够缩小到关系库的1/40,因此,上面的例子只需要500G的空间就能够进行有效存储了。

    3、集成了工业接口的数据采集

    由于历史和垄断的原因,目前工业通讯、传输的协议种类繁多,实时库一般都集成了大量的工业协议接口,可以对各种类型的工业协议进行解析和传输。同时,随着实时数据库的发展,接口软件部分也慢慢被独立出来,即可以与实时数据库核心集中部署在1台计算机上,也可以单独部署在接口机上,从而提供了更好的可扩展性和稳定性。

    4、集成控制功能,可实现实时控制

    实时数据库一般都提供下行控制接口,并且是高速写出。写的效率严重依赖于接口通讯效率和执行机构。因此,实时数据库大都是从工控软件厂商发展而来的,他们就有丰富的工业控制写入的经验。即便如此,毕竟工业系统对时序有严格的要求,而数据库从读到写,会出现时滞,因此,实时数据库一般不适宜对快速开关量的控制。

    在云计算的时代,实时数据库的一些缺点就慢慢的显露出来了。

    首先,由于实时数据库是基于时标进行处理的,就导致它只能简单的使用时间段进行查询和检索,当然,各大厂商也开发了许多工具,但无论如何检索的丰富性不能和关系库比拟。

    其次,由于实时库都是出售给大型工业企业的,因此价格昂贵,在物联网时代,对于中小工业企业来说,是个不小的成本。

    再次,传统实时库在部署时不够方便灵活,传输也更多的考虑工业网络,甚少考虑互联网的情况,不太适应当下云计算环境的部署。

    这个时候,新兴的时序数据库就出现了。时序数据库在2017年火了起来,出现了大量的开源和商业产品,时序数据库就是存放时序数据的数据库,并且需要支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。时序数据库其实主要是实时数据库的数据存储部分,但是,由于它采用了新的技术,极大地扩展了数据的容量,除了数据点和时间戳之外,还提供标签和内容等对数据的描述,并且提供各种聚合查询,弥补了实时库的缺陷。

    但是,时序数据库不提供工业接口、下行控制等功能,这些都需要开发人员自行开发,或者将原有的接口与时序库对接。

    当然,不管是实时数据库还是时序数据库,都在飞速发展中,双方一定会互相借鉴,互相学习,会提供更好、更多的产品供工业大数据使用。

  • 相关阅读:
    信息捕获木马运行操作思路
    Linux常用命令清单
    绕过cdn查找真实IP
    kali中文乱码三步解决,简洁高效!
    火狐浏览器控制台的玩法
    k8s pod 权限配置
    Linux运维企业架构实战系列
    企业级自动化运维工具应用实战-ansible
    k8s pod排错指南
    基于Centos7 部署kubernetes v1.21.3 实践(高阶)
  • 原文地址:https://www.cnblogs.com/zhaiyf/p/7804601.html
Copyright © 2011-2022 走看看