一. 前言
好久没有更新博客了，最近一直在忙着找工作，目前差不多尘埃落定。特别期待而且准备的都很少能成功，反而是没怎么在意的最终反而能拿到，真是神一样的人生。
言归正传，一直以来，数据挖掘系统的数据类型是我很头疼的问题，不可能为了每一种场景都定义一种新的数据类型，但通用类型又没法满足所有需求，而且性能上有影响。思来想去，最终决定结合两种特点制定一种方案：以通用类型为主，一些特定场合和要求再制定自定义类型，比如微博。 通用数据类型的名字叫FreeDocument，它的内部核心是Dictionary<string,Object>，实现了一组接口，提供了默认转换和读写等功能。
以通用类型为核心，一切问题变得简单了，一切都因为这个伟大的接口：IDictionarySerializable。所有可存取的数据都实现了该接口。具体介绍请看博文： 推荐一个简单好用的接口——字典序列化。
本节将介绍几个特性：数据库连接的改进，虚拟化技术与强化的脚本系统。
ITTC数据挖掘平台介绍（七）强化的数据库， 虚拟化，脚本编辑器
二. 数据库系统
做软件的人大致都有我这样的想法：支持所有的数据库。可是，真正情况并非如此，关系型数据库有它们各自的数据库方言，非关系型数据库则更是千差万别，数据模型都不一样了。ORM框架早已无法满足这类需求，因此，我决定自己做数据库接口层。
字典序列化接口定义了每种数据与字典（键值对）互相转换的逻辑。因此，它天生就适应于文档数据库（如MongoDB）和其他各类键值数据库，对于关系型数据库的脑残的Object[]数组，可以让字典的键按照String的排序器排序，就可在Object[]数组与实例对象之间相互转换了。
我定义了如下的数据库接口：
/// <summary> /// 基本数据库管理接口 /// </summary> [Interface("IDataBaseConnector", "数据库连接器接口", SearchStrategy.FolderSearch)] public interface IDataBaseConnector { /// <summary> /// 保存数据到数据库 /// </summary> /// <param name="source">要保存的数据</param> /// <param name="dbTableName">表名称</param> void BatchInsert(IEnumerable<IDictionarySerializable> source, string dbTableName); /// <summary> /// 获取当前目录下的表名 /// </summary> /// <returns></returns> List<string> GetTableNames(); string Name { get; set; } string ConnectionString { get; set; } //数据库名 string DBName { get; set; } bool ConnectDB(); bool CloseDB(); /// <summary> /// 获取对应表名的数据 /// </summary> /// <param name="tableName"></param> /// <param name="skip">跳过 </param> /// <param name="mount"> 数量</param> /// <returns></returns> List<IDictionarySerializable> GetEntitys(string tableName, Type type, int mount, int skip = 0); List<T> GetEntitys<T>(string tableName, int mount, int skip = 0) where T : IDictionarySerializable, new(); /// <summary> /// 创建表 /// </summary> /// <param name="dataType">数据类型</param> /// <param name="createStr">创建字符串</param> void CreateTable(Type dataType, string createStr); /// <summary> /// 是否可用 /// <remarks>数据库服务可能处于离线模式</remarks> /// </summary> bool IsUseable { get; } /// <summary> /// 更新到数据库 /// </summary> /// <param name="tableName"></param> /// <param name="updateItem"></param> void SaveOrUpdateEntity(IDictionarySerializable updateItem, string tableName, string keyName, object keyvalue); /// <summary> /// 删除表数据 /// </summary> /// <param name="tableName"></param> void DropTable(string tableName); }
接口层中，包括了连接/断开数据库，存储和读取的泛型和非泛型版本，只可惜没有查询。查询的问题等之后再做详细的讨论。
于是，以这个接口为基准，实现了MongoDB连接器和SQL Server连接器。 请看实现的效果：
你可以通过配置XML文件，来定义多个连接器。该配置文件位于根目录插件的MainConfig.xml，你可以指定每个连接的数据库类型，库名称和连接字符串等。
读取过程： 点击每个连接器，可以获取所有表名，选取不同的表名，可以按照已经选定的数据类型进行转换（默认使用自由文档，而使用专用数据类型可获得更好的性能）。点击“添加到数据管理器”，即可将数据添加到数据管理器，供不同算法模块进行处理。
写入过程： 可将数据管理器的不同数据写入到数据库中。将数据管理器的数据拖放到DataGrid视图中，填写”新表表名“，即可将数据保存到数据库中。
若数据库无法连接，则该库的所有操作都无法进行，此时需要点击刷新连接，强制重连。
如此设计之后，系统即可支持各类数据库，并具备灵活配置的特点。
三. 虚拟化技术
由于数据挖掘系统可能会处理数据量非常巨大，以至于无法读取到内存中的数据，因此必须启用虚拟化。所谓虚拟化就是真实的数据并非处于内存，而是在需要的情况才读入内存，当若干个周期之后没有访问，则该数据又会被清理。与缓存的模式非常类似，因此，需要将算法设计为缓存友好：尽可能在同一时间段内读取连续 索引号的数据。
数据管理器如下图：
当你将一个文档拖入到数据管理器中时，系统会自动检测文件大小和文件类型，选用不同的处理策略。文件小时直接读入内存，文件体积超过100M时，将数据虚拟化。此时，即使是1GB的csv数据表，都可瞬间被导入。在此基础上，DataCollection集合类处理了虚拟化的所有细节，提供了统一的访问器：算法模块依旧可通过InputData[n] ,n是索引的方式查询数据，也可以实现枚举器。底层将实现缓存架构，合理的读取和清理内存。
一个简单的例子便是，2000万的开房数据，瞬间被读入，对其使用LINQ做查询统计，缓存器流式读取数据，并进行流式统计，最终输出结果，整个过程中内存占用量都很低。
诚然，这种虚拟化的性能肯定不如全部加载到内存当中的速度，但这确实不失为一种可能性。 具体的设计方案和设计请参考我的博文：
四.脚本系统
什么东西最灵活？不是任何酷炫的UI,而是平凡到不能再平凡的语言，当然前提是你必须懂怎么用它。所以程序员最喜欢cmd,而普通人则更喜欢UI.
做数据挖掘工具，如果完全脱离脚本，必然是不可行的，否则，你如何定义一条数据有多重要？升级到这一版本，无论如何都需要使用脚本了。当然，我要使得脚本更简洁易用。它应当包含自动提示和保存功能，应当富有足够的表现力。
可是，脚本系统同样面临一大堆挑战。假设一个数据类型Student,它拥有Height,MathScore,EnglishScore等属性。那么，你怎么定义它的权重，关系，分类，以及其他各类莫名其妙的需求？
比如你可以这样写，以权重计算为例：
Score=@(Height)*2+ @(MathScore)*3- @(EnglishScore)+100
@关键字表名了它是一个变量，可以通过IDictionarySerializable接口序列化生成的字典索引器Item[Key]来读取对应的值。当然你可以扩展更复杂的表达式。
因此，”脚本“有这么几个要素：数据类型（决定哪些是可识别的变量），脚本类型（决定返回值的意义），脚本内容（应当是正确无误的），描述（可选）。脚本同样可以保存在XML中，它保存在插件的文件夹中的ScriptLibaray.XML里。
因此，我借鉴了国外著名大神的脚本解析器系统，开发了一套提供变量提示的脚本编辑和使用系统。
你可以点击数据管理器下的脚本编辑器：
当你希望能自定义”科研项目数据“的权重计算逻辑时，可以在数据源上选取”科研项目“，由于目前系统中还没有存储任何已有的满足科研项目的权重脚本，所以”脚本库“的下拉菜单中是空的。
在”脚本编辑“栏中，即可输入脚本。我们希望权重=项目资金*3+ （结束时间-启动时间）*5
则在变量中，选取：Money:
在操作符中，选取DateDIFF(它是计算日期之差的函数)。
最终得到的脚本如下：
当你希望保存这条脚本时：
填写脚本名称和脚本描述，点击”新建脚本“，即可将脚本保存在文件中。当然，不保存也不影响这次使用。
将一个“计算方法A”的测试模块拖放到算法管理器中：
本模块对脚本的使用非常简单，只是单纯的输出每条数据计算的结果：
foreach (var item in SysDataManager.ScriptExecutor.Execute(this.Script1.SelectItem, CurrentCollection.MyComputeData)) { XLogSys.Print.Info(item.ToString()); ; }
即可在对应的“脚本选择”对话框中，得到刚才输入的脚本。如果这条脚本有错：
在脚本管理器上重新修改之后，即可输出结果：
哈哈，完成。不知道各位看官对这样的脚本编辑器是否满意。脚本其实是潘多拉的魔盒，她功能强大，但稍微不小心就会出错，或者不满足要求。因此对她的限制必不可少。计算模块必须给出对脚本类型和数据类型要求，才能检索出满足条件的脚本供用户选择。我作为设计者，还是觉得它实现起来稍微复杂了，用户体验并不友好。可是到底怎样的脚本工具才是好用的呢？我毕竟不能做一个编译器进去，这样的事情确实够头疼。
五.总结
除了以上这些升级之外，系统还增加了多款分类器和机器学习模块。这些升级我们下次专门开一节讨论算法。
最近的一段时间要升级软件的鲁棒性和稳定性，我也要系统的学习统计和SPSS的知识，加油！