实时数据库简介

实时数据库简介

1.前言 
一提到数据库，大家肯定会想到SQL Server、Oracle等关系型数据库。实际上，数据库的种类非常多，在计算机发展的历史上，存在着多种类型的数据库。
早期，关系型数据库与层次型数据库、网络型数据库并驾齐驱，但关系型数据库依靠其描述简单、实现容易等特点，在竞争中取得了胜利，在上世纪90年代初期，从Foxpro、Access到Oracle、Informix、SyBase、SQL server，关系型数据库一统天下。
但在特定的应用领域中，关系型数据库并不能完美表现，于是，产生了新的数据库类型：在协同办公领域中使用的文档型数据库（如NOTES）,在嵌入式应用领域中使用的嵌入式数据库（如SQLite），在工业监控领域使用的实时数据库（如PI），等等。
本文章将对实时数据库进行简单的介绍。
2.在工业监控领域中，数据库应用的特点 
工业监控系统的定义非常大，所有需要对运行设备进行自动化监视、控制的系统都可以定义为工业监控系统，这里面就包括火电厂厂级监控系统（SIS），在这类应用领域中，数据库应用有如下特点：
 测点数量多
一个新建300WM的火电厂的SIS系统，需要处理的测点数超过了10000点，这些测点的变化周期通常在1秒钟之内，也就是说，需要将超过10000点的数据在1秒钟之内保存到数据库中。
 存储量大
实时数据库的核心就是对大量的实时信息进行处理，由于成年累月的数据将占据大量的硬盘空间。例如对于 1万点的系统，每 1秒钟存储一次，每次单点占用 8个字节，那么保存 10年的数据量将有 10000*8*10*365*86400=25228800000000字节，也就是 23TGB。若用 80GB的硬盘存放，需要存放 293块硬盘！ 
 时效性强
每个需要处理的测点的值都与时间相关，一秒钟之后的数据与一秒钟之前的数据可能就不一样了，因此，在保存测点值的同时，必须通过某种方法将其对应的时间也纪录起来。
3.不选择关系型数据库的理由 
关系型数据库，较难处理工业控制领域的数据。主要原因是：
 插入速度慢
一般关系型数据库是基于事务处理的，在处理失效后，还要回滚作业。所以至少要存放两处，该机制使速度较慢；既使用今日的Intel P4 双至强类CPU，在对2000 个测点进行插入时也用占用10s 以上的时间。而工业监控系统需要面对的是数万点的实时数据以秒级的间隔存放数据。
 维护困难
商用数据库为了保证完整性，所有的内容往往放在一个文件内，这对海量数据的存放维护发生困难。如果有一个200G 的数据库，完全备份就可能要一天。备份文件中有一个错误就可能导致200G 的备份文件失效，所以不实用。
 不能满足实时应用的需求
用数据库存放实时数据据及查询方式不能满足实时应用的需要。一个简单的例子是假定以1 秒为间隔存放好了数据，一周有数据604800 组，但是现要以60 秒为间隔取出其中10080 组或者以等间隔原则取出8888 组，标准SQL 语法就较难实现。
因此，工业监控领域以及电厂SIS应用领域，必须寻找适合实时应用需要的实时数据库系统。
4.实时数据库的压缩算法介绍 
实时数据库系统的技术核心在于数据压缩。需要将数据经压缩后再存入硬盘，当需要用数据时再解压缩硬盘上的数据。目前用于国内外实时数据库上的压缩算法通常分为两类：无损压缩和有损压缩。
4.1 无损压缩
大多数信息的表达都存在着一定的冗余度，通过采用一定的模型和编码方法，可以降低这种冗余度。Huffman编码是无损压缩中非常著名的算法之一。WinRar和WinZip等软件都采用了类似Huffman编码的压缩方式。这些压缩方法的共同特点是：压缩和解压过程中，信息不会发生变化。
在实时数据库中，也可以采用这些无损压缩技术，但是在实现时，必须要考虑压缩和解压缩的效率，如果某个压缩算法的压缩比非常高，但是其解压的速度非常慢，则肯定不能用于实时数据库中，否则，人们在查询数据时，会等待得失去耐心。
4.2 有损压缩
相对于无损压缩，有缩压缩肯定会丢失一些信息，但必须要保证这些丢失的信息不能影响系统数据的精度。大家在其它领域中也遇到过有损压缩的应用，比如：JPG图像压缩就是一种有损压缩，MP3声音压缩也是一种有损压缩。
在实时数据库中，有损压缩主要有两种方法：死区压缩和趋势压缩。
 死区压缩
所谓死区就是定义某一测点的值不变的范围。采用死区压缩就是记录该点死区之外的数据值。例如有一测点 A，定义其死区为 1%，上次记录的测点值为 110.00，那么此次采集的测点值为 111.00，那么两者差值(111-110)/110<1%，那么认为此次测点值在该点的死区范围内，则认为不变化，即不记录。若下一次测点值为 120.00，那么两者差值(120-110)/110>1%，那么认为此次测点值在该点的死区范围外，则认为变化，记录。
 趋势压缩
趋势压缩，是根据测点的阶段性趋势进行压缩，原则上只记录满足趋势条件的起点和终点。PI的旋转门压缩技术是该类算法的典范。
 
一般的趋势压缩如上图所示，T1到 T2时刻某测点的值保持者该趋势，那么在此趋势上下的两条容差线将是下一时刻点的死区范围，若下一时刻 T3在此两条两条容差线之间，那么不记录此值，两条容差线将适用于下一时刻，若下一时刻 T4在此两条两条容差线之外，则记录该值，趋势发生改变，两条容差线将发生改变，下一时刻测点将按改变后的容差线来判断。
5.实时数据库的访问方式
 使用实时数据库提供的API
这种方式效率最高，也最简单。
 使用ODBC
大部分实时数据库提供了标准的ODBC接口，也提供了SQL查询语言，通过这些方法，用户可以将实时数据库当作一个标准的数据库来使用。但这种方法速度较慢，且不能体现实时数据的全部优势。
 使用OPC方式（OLE for Process Control）
因为太多的数据库和DCS使用自己的API方式存取数据，无法做到算法的通用，因为工业监控领域提出了一个标准的存取接口，这就是OPC，如今有超过两百家产商加入到OPC组织中，声势浩大。
6.可供选择的实时数据库产品 
目前进入国内市场比较成熟的实时数据库产品如下所列：
 美国OSIsoft公司，PI；
 美国Wonderware公司，IndustrialSQL Server，简称INSQL；
 美国 GE,Intellution公司，iHistorian；
 美国 InStep公司，eDNA；
 美国HONEYWELL公司，Process History Database，简称PHD ；
 美国AspenTech公司，InfoPlus；
总的来说，国外实时数据库产品在工业监控行业占垄断地位。其中OSIsoft公司的PI采用了旋转门压缩专利技术和独到的二次过滤技术，使进入到PI数据库的数据经过了最有效的压缩，极大地节省了硬盘空间，是效率最高，使用最简单，使用最广泛的实时数据库。因为其杰出的性能，PI已经多次提高了它的价格。 
7.总结 
实时数据库在SIS系统中起着非常重要的作用，是SIS系统存贮数据的基础。实时数据库是一种特殊类型的数据库系统，但它有许多与关系型数据库存在差异。只有理解了这些相同之处和差异部分，才能对实时数据库有更深地了解。

研究现状与发展。
    目前在国内比较流行的国外实时数据库产品有Wonderware公司的Industrial SQL，OSIsoft公司的PI  ，AspenTech公司的 IP21 (

InfoPlus 。21 )。以5000点数据库和20客户端应用为例，几个数据库价格分别是：

PI----10万美元，每个接口6000美元，OPC接口收费；

InfoPlus.21----11万美元，每个接口1万美元，OPC接口不收费；
Industrial SQL Server----6.5万美元，每个IDAS1200美元，OPC Link免费。

     实时数据数据库产品
      PI将所有数据存于专有数据库中，对于过程数据的存储模式，每个点只有6个域可以由用户定义。PI是纯实时数据库，如果要实现企业更高级的应用还要配备关系型数据库。
      PI采用了旋转门压缩专利技术和独到的二次过滤技术，使进入到PI数据库的数据经过了最有效的压缩，极大地节省了硬盘空间。据计算，每秒1万点数据存储一年，仅需要4G的空间，即一只普通硬盘也可存贮五到十年的数据。是效率最高，使用最简单，使用最广泛的实时数据库，因为其杰出的性能，PI已经多次提高了它的价格，而且PI在其文档中公开了它的各种算法，比如上面提到的旋转门压缩和二次过滤。
 
    OSI公司没有提供PI服务器软件和客户端软件汉化版本，但是据说在开发中，可以看见DataLink的某个汉化版本。国内某些公司也在为客户做授权的汉化工作。

     系统性能
    每个PI服务器可容纳150万点(高端服务器)，在PI的高端产品服务器中可以处理每秒钟150万点的数据。在客户端软件ProcessBook上，可以在秒级时间内从2年或3年历史中取到1000点数据。

    参考OSI公司提供的数据：实时信息点的数据值1天的平均变化次数为500，每个信息点所占的存储空间为3个字节，那1万个点在线存储1年所需的存储空间是：
变化次数 × 单点存储空间 × 信息点数 × 1年的天数 = 总空间要求
500 × 3 × 10000 × 365 = 5.475GB

     当然，硬盘很便宜，但是节约空间不是我们的出发点，关键是快速回放数据。

    设备接口支持
OSI公司提供全球600多种DCS接口软件，同时可以支持OPC数据采集，使得PI数据库成为企业生产控制系统与管理信息系统连接的桥梁。

客户端工具
PI-ProcessBook：组织和显示过程信息，提供流程图、实时和历史趋势，包含VBA编程环境。
Pi-datalink:Excel 内嵌的宏。为最终用户提供了非常灵活的过程数据分析工具。可以提供用VBA来建各种所需的数学分析，可提供了最常规分析工具，包括：平均值、移动平均、几何平均、标准偏差、累计值等等。
PI-Batch：生产批处理程序。
PI-ML：手动录入终端（提供软件或硬件两种形式）。
PI－ ACE：允许用户写方程式。在捕获相似的数据集时，可以不用费力地重复使用这些方程式。
PI ICE：适于企业级实时绩效管理的最有创新意义的web应用。
PI ActiveView：无缝地给web提供现有的PI ProcessBook显示。
PI告警视图：汇总PI 告警服务器信息，以分层次的树形结构向任意个现场客户或场外客户显示那些数据。
PI批视图：在Windows台式电脑计算机上显示PI 批数据。
PI系统管理工具：一套通过客户的PC机对PI系统实施管理的应用程序。
PI模块数据库：将PI系统中的内容分成有用的组，帮助组织实时数据，储存参数或规格，并使它们随时可以用于程序和显示中。
RLINK：生产数据（PI）与SAP R/3、JD Edwards OneWorld、MRO Software Maximo和Indus International PassPort/EMPAC等ERP或EAM（企业资产管理）系统之间的一个双向网关。

 

二次开发工具
PI提供API，SDK, PI ODBC & PI OLEDB二次开发工具实现从数据库读取数据或写入数据到实时数据库中。另外，PI的客户端ProceBook中内嵌了VBA，方便对ProceBook功能的扩充和客户化。

PI API (Application Programming Interface，应用程序开发接口)
PI-API是一组C语言函数，提供了对PI系统进行访问的通用编程接口，应用程序可以通过调用PI-API函数访问或操作PI系统。许多PI的客户端软件，包括PI ProcessBook、PI

DataLink、PI ProfileView等，都是通过PI-API与PI服务器通信。用户可以在UNIX,WINDOWS平台上调用。

PI SDK（Software Development Kit，软件开发包）
PI SDK是PI提供的另一个编程工具集，用以访问PI服务器以及相关子系统。它采用微软ActiveX技术，内含一个ActiveX进程内组件，一个ActiveX控件和其他一些支持代码库，如

在线文档、示例代码、支持文档等。ActiveX基于COM组件技术，在Microsoft Windows平台下具有开发语言无关性特点。用户可以在开发简便的。NET中使用PI SDK访问PI服务器，

也可以在高效的C++中使用，以及在其他所有支持COM技术的开发工具中使用PI SDK。

PI ODBC & PI OLEDB

ODBC是数据库领域的一个开放的工业标准。OLEDB是微软基于COM的一个数据库访问接口标准。使用PI ODBC和PI OLEDB，用户能够像访问关系数据库一样访问PI系统。基于PI ODBC

或PI OLEDB的数据接口程序和客户端应用程序，可利用标准的SQL语句访问PI数据库，包括PI Archive、PI Point Database或其他配置数据。

国内用户
OSI将其数据库定位于企业信息化集成平台，专注于实时数据软件的研发和服务，主要用于大型流程行业用户，如电力、石油、化工和冶金等。目前中国使用PI软件的企业达到一

百多家，主要集中在电力、石油、化工行业，国内冶金行业用户有唐山钢铁公司厂、太原钢铁集团第2炼钢厂、石家庄钢铁公司等。

实时数据库的简介（初稿） 关系数据库使用得比较广，为大部分人所熟悉，以至于谈到数据库，缺省情况下指的就是关系数据库，但实际上还有一些其他种类的数据库在生产生活中被广泛使用，比如我将谈到的实时数据库，它们用在要求非常严格、数据量非常大的生产工控中。

【要点】 当今国际国内广泛使用的实时数据库只有三个产品： a. 美国OSI公司的 PI ( Plant Information System ) b. 美国HONEYWELL公司的 PHD ( Process History Database ) c. 美国AspenTech公司的 IP21 ( InfoPlus .21 )

这些实时数据库的价格是非常昂贵的，以百万人民币为单位，但是它们不全是以套也不全是以点(可容纳的数据点)为单位来出售，所以无法数字化的比较其价格。因为工作的关系，我有幸能接触到这三种数据库，在此对它们做一个比较。

1. PI 采用了旋转门压缩专利技术和独到的二次过滤技术，使进入到PI数据库的数据经过了最有效的压缩，极大地节省了硬盘空间。据计算，每秒1万点数据存储一年，仅需要4G的空间，即一只普通硬盘也可存贮五到十年的数据。是效率最高，使用最简单，使用最广泛的实时数据库，因为其杰出的性能，PI已经多次提高了它的价格，确实不坠OSI的名号，而且PI在其文档中公开了她的各种算法，比如上面提到的旋转门压缩和二次过滤。

2. PHD HONEYWELL占据了DCS大部分份额，因此PHD使用得也比较广泛，PHD在内部其实使用了Oracle关系数据库，因此购买PHD就必须先购买Oracle。因为 PHD内部使用Oracle简化了开发量 和 Oracle的性能限制比较严重，所以 PHD 的价格在这三种数据库最低，算不上正宗的实时数据库。但不要以为PHD内部使用Oracle就认为Oracle很强，如果直接使用Oracle，只要两三秒的时间，巨大的数据量就会令它崩溃。HONEYWELL其志不在实时数据库这一块，而是她的DCS。

3. IP21 IP21基本上还未进入中国市场，它正在通过先期赠送的办法打开中国市场。 在评价IP21之前，我需要先申明“我对IP21的看法只是个人看法，不是任何产品的托儿”。 IP21是我见过的最差的关系数据库，也是我见过的最差的一个软件， a. 其软件的安装程序的运行需要一个硬狗，这种小气的做法和PI公开算法的做法没法比，问题还在于它的这条狗经常会死翘翘。 b. 其软件的安装即使是其公司的专业员工也不能保证安装成功，10台计算机让它的专业员工来安装大约只能成功一两台。 c. 其软件的安装盘只有一张，但这一张盘需要安装四个小时以上，中途不停地看到在安装某个版本的Java解释器，其后它们又被删除。 d. 没有实现真正的自动安装，在安装之前它们的工程师需要在计算机上修改不少的文件。 e. 安装中途如果出现错误是不立即报告的，需要四个小时之后安装完毕才能看到安装失败的字样，但也仅仅只能知道安装失败，不知道在哪一步安装失败。 f. 管理维护软件非常的复杂，除非有人愿意牺牲以后的前途来学习它，否则就只能让它自己的员工来鼓弄。 g. 运行效率非常低下，而且占用系统资源非常严重，一台服务器只能给一个IP21使用。

【要点】 实时数据库的访问方式 a. 使用自己的API，这种方式效率最高，其实也最简单。 b. 使用ODBC，这种方式其实没有多大作用，因为实时数据库不同于关系数据库，ODBC没有太大的用武之地，所以在使用ODBC时有非常多的限制，大部分功能并不支持ODBC方式。 c. 使用OPC方式（OLE for Process Control） 因为太多的数据库和DCS使用自己的API方式存取数据，无法做到算法的通用，因为提出了一个标准的存取接口，这就是OPC，如今有超过两百家产商加入到OPC组织中，声势浩大，包括臭名昭著的M$，之所以讲M$臭名昭著是因为M$强制性的在这个标准的存取接口中使用了COM/DCOM，令OPC只能在windows下使用，且效率（因为是工控场合，所以效率非常重要）低下。M$在OPC组织中非常的积极，所以现在的OPC基本上也脱离了当初制定的目标，令很多产商不满，包括OSI在内，虽然OSI PI提供OPC接口，但OSI不建议客户使用它，也不对它进行技术支持。在OPC中的COM还有另外一个大问题，因为COM规定必须支持先前制定的接口，而工控要求又非常严格，开发测试的费用和时间都非常高，没有任何厂商愿意支持先前的COM接口，因此没有真正符合COM标准的OPC。

1. 【要点】OSIsoft正在淡化PI的概念，严格来说2000年后PI就不叫实时数据库了，现在OSIsoft推出的是实时企业智能化解决方案RtPM，PI实时历史数据引擎是RtPM中RtBaseline的一小部分。只是国内现在看来还没到那个阶段:) 国内电力行业用PI作为企业实时数据库的比较多，石化用的不多，其他行业就更少了，主要还是一些合资企业带进来的。PI的价格其实一直比较稳定，面向的是高端客户群，若比较性能价格比的话，PI明显优于PHD和IP.21，变来变去的是OSIsoft在中国的政策。OSIsoft是OPC基金会的成员，主要在OPC内部制定HDA的标准，没有听说过OSIsoft不支持OPC接口,OSIsoft的OPC接口是其版本更新速度最快的一个接口。

2. Honeywell曾经是OSIsoft公司最大的集成商，80年代至90年代初期，通过Honeywell销售的PI比OSIsoft自己销售的PI还多。Honeywell现在卖PHD的目的不是帮助DCS的销售，而是Honeywell在石化行业的信息解决方案，如APC等需要一个实时数据平台的支撑，靠卖PHD，Honeywell是不能存活的，事实上用户如果买Honeywell的APC等应用，PHD可以免费，不过羊毛出在羊身上，再说要是用了PHD，最好就一直买Honeywell的高级应用了。

3. Aspentech的IP.21和Honeywell的PHD定位一样，靠卖IP.21,Aspentech也活不了。Aspentech产品线很长，几乎都是靠收购来的产品，买来后整合难度很大。IP.21也是Aspentech买来的产品，原来是SetPoint公司的产品，现在IP.21维护更新的开发队伍也就几个人，没准哪天IP.21赔的太多，这个部门就砍了。

总结：OSIsoft卖PI赢利，在实时数据处理方面是越来越专，越来越深。Honeywell和Aspentech卖PHD和IP.21赔本，现在在实时数据库技术上吃老本，商务上是能黑就黑一把，最好是买他们的一体化解决方案，永远上他们的贼船。