国内首款完全由国人自主研发的可编程云平台 BDC 4.0 新增了云索引、云检索、云中文分词

国内首款完全由国人自主研发的可编程云平台 BDC 4.0 -- 新增了云索引、云检索、云中文分词

BDC 4.0下载地址： http://pan.baidu.com/share/link?shareid=579097387&uk=1614272889

BDC 4.0 云平台分布是云索引、云检索 云中文分词配置说明

一、索引检索配置 

   首先配置一些基本参数和路径

在配置节：<WebSystem.Framework.Key>

下配置以下配置项：

  1、<KeyInfo Key="PhysicaPath" Value="E:\sousuo\"/>

     表示中文分词所在的目录，将压缩文件中的App_Data 文件夹拷贝到 所配置的目录中

     ★注；没这个次库索引、检索都无法正常执行

  2、<KeyInfo Key="SEARCHIDX" Value="E:\sousuo\index\"/>

     表示全文索引存储的目录

   

  3、<KeyInfo Key="SNAPSHOT" Value="E:\sousuo\snapshot\"/> 

     表示快照文件存储的目录

 

  4、<KeyInfo Key="BuildIndexRate" Value="5"/>

     表示索引频率(分钟整数),建议范围 3 - 10,Value越大索引周期越长,但是IO效率将越高,

    (2G以下内存建议使用 5分钟以下,太大高并发将导致内存溢出) 

 

  5、<KeyInfo Key="StartDocId" Value="0"/>

     表示索引文档编号起始值(整数), 在索引的时候会自动增长,每次服务停止会自动记录下最后的编号, 

    考虑到分布式索引和检索,建议每个节点的间隔编号以4000000 为间隔,比如:

    此节点起始编号是 0,那么下一个节点是 4000000,再下一个节点是 8000000

    也就是说,每个节点建议最多索引 400万网页,当然要是你机器足够好,也可以适当调整。

    ★注；单个节点机最多索引 10000000(1千万)网页

 

二、集群配置 

    BDC云平台在具体架设硬件集群的时候最好是将硬件划分逻辑层

    如下图：

         

                       1号节点机               2号节点机               3号节点机 

                           |                       |                       |

                   ----------------         ----------------        ----------------

                   4       5      6         7      8       9        10     11      12

               -------

               13 14  15  ...     ...      ...    ...     ...      ...    ...      ...

 

以此类推，这么做的好处就在于每个节点上下及不多，有效的减少了节点间的网络通信、有效的减少了上下层节点之间的Map - Reduce的计算时间和数据传输

  

在配置节：<WebSystem.Framework.Distributed 中进行配置
具体配置及参数说明请参见：
国内首款完全由国人自主研发的开源云平台 BDC 3.0 详解
http://blog.csdn.net/tengyunjiawu_com/article/details/8565766

★注；BDC 3.0在集群配置上与 BDC 4.0没有做改动

基于 BDC 4.0的分布式集群的云寻觅索引、检索范例代码 下载地址
http://pan.baidu.com/share/link?shareid=580846343&uk=1614272889

 

范例代码：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using WebSystem.Framework;
using System.Net;
using WebSystem.Framework.Distributed;
using System.Windows.Forms;
using System.IO;
using System.Reflection;
//using BoInterFace;
using Bo;
using System.Runtime.Remoting;
using System.Diagnostics;
using WebSystem.FrameWork.SearchEngine.Search;
using System.Threading;
using System.Collections;
using WebSystem.FrameWork.SearchEngine.Index;
using Business.Processing.Business.BO.Core;
using WebSystem.FrameWork.FenCi;
using System.Runtime.Serialization.Formatters.Binary;
using WebSystem.FrameWork.AlgorithmDataStructure.Sort;
using testbo;

namespace Bwsyq.Distributed.Cluster.Demo
{
    class Program : ContextBoundObject
    {
        static void Main(string[] args)
        {
            GInvertedIndex ii = new GInvertedIndex();
            var sw = Stopwatch.StartNew();

            int exectype = 0;
            RemoteFactory rf = new RemoteFactory();

      Thebegin:
            Console.WriteLine("请输入需执行的项：\n");
            Console.WriteLine("1：分发业务逻辑程序 \n");
            Console.WriteLine("2：由指定IP开始的节点及所有子节点中性能最优节点执行的BO对象的方法，\n如果IP是根IP那么就由整个集群中性能最优的节点执行BO对象的方法 \n");
            Console.WriteLine("3：获取某个目录下的指定扩展名的文件列表 \n");
            Console.WriteLine("4：获取CPU性能指标和内存可用指标 \n");
            Console.WriteLine("5：创建远程非透明代理对象,并调用其方法 \n");
            Console.WriteLine("6：分发普通文件 \n");
            Console.WriteLine("7：建立远程全文索引 \n");
            Console.WriteLine("8：执行远程全文检索 \n");
            Console.WriteLine("9：建立远程全文索引(无快照) \n");
            Console.WriteLine("10：执行远程全文检索(无快照) \n");

            Console.WriteLine("11：建立远程网页全文索引 \n");
            Console.WriteLine("12：执行远程网页全文检索 \n");
            Console.WriteLine("13：建立远程网页全文索引(无快照) \n");
            Console.WriteLine("14：执行远程网页全文检索(无快照) \n");

            Console.WriteLine("15：执行远程集群网页全文检索(无快照) \n");

            Console.WriteLine("16：执行远程指定IP节点的中文分词 \n");
            Console.WriteLine("17：执行指定IP开始的节点及所有子节点中性能最优节点的中文分词，\n如果IP是根IP那么就由整个集群中性能最优的节点执行中文分词方法 \n");
            Console.WriteLine("18：获取全局自增长流水号(整数) \n");
            Console.WriteLine("Other Key:退出 \n");

            try
            {
                exectype = Console.ReadLine().ToInt();
            }
            catch (Exception e) { return; }

            switch (exectype)
            {
                case 1:
                    rf = new RemoteFactory();
                    //将业务逻辑程序 TestBo.dll 分发到 192.168.1.4 及其所有下层节点机中,并加载等待调用
                    //注:分发之后可以随时更新覆盖
                    rf.DistributionBoFile(@"D:\clienttest\TestBo.dll", "192.168.1.4");
                    goto Thebegin;
                case 2:
                    foreach (IPAddress ip in Api.LocalIps())
                    {
                        Console.Write(ip.ToString() + "\n");
                    }
                    Console.Write(Api.IsLocalIpAddress("192.168.1.4") + "\n");
                    goto Thebegin;
                case 3:
                    string[] fs = Api.GetDirectoryFiles(Application.StartupPath + Path.DirectorySeparatorChar, "dll");
                    string s = "";
                    if (fs != null)
                    {
                        foreach (string f in fs)
                        {

                            Assembly asm = Assembly.LoadFrom(f);
                            string assemblyName = asm.FullName;
                            foreach (Type t in asm.GetTypes())
                            {
                                if (t.IsClass)
                                {
                                    if (Api.IsInherit(t, typeof(ContextBoundObject)))
                                    {
                                        string typeName = t.FullName;
                                        s = s + typeName + "|" + assemblyName + "|" + typeName + "Service" + "\n";
                                    }
                                }
                            }
                            Console.Write(f + "\n");
                        }
                    }
                    goto Thebegin;
                case 4:
                    Console.Write(Api.GetCPUIndex() + "|" + Api.GetMemoryIndex());
                    goto Thebegin;
                case 5:
                    TestBo TestBo = (TestBo)rf.CreateTheBestRemoteObject(typeof(TestBo), "192.168.1.103");
                    Console.WriteLine(TestBo.GetHttpContext(null, "", ""));
                    goto Thebegin;
                case 6:
                    rf = new RemoteFactory();
                    rf.DistributionFile(@"D:\clienttest\Business.Processing.xml", "127.0.0.2");
                    goto Thebegin;
                case 7:
                    //如果你的内容存储在数据库中,那么全文索引可以采用这种方案
                    //这个索引的同时还会存储快照
                    rf = new RemoteFactory();
                    bool r = false;
                    for (int i = 0; i < 100000; i++)  //索引十万笔数据小试一下,大约10分钟
                    {
                        //参数说明：
                        // 数据库名(必填)、表名(必填)、Key字段名(必填)、Key字段值(必填)、正文(必填)、希望真正执行索引的节点IP
                        r = rf.DistributionDataBaseFullTextIndex("DB001", "T0001", "F0001", Api.uuid(false), "我是一个兵,来自老百姓", "127.0.0.2");
                    }
                    if (r)
                        Console.WriteLine("远程索引成功!");
                    else
                        Console.WriteLine("远程索引失败!");
                    goto Thebegin;
                case 8:
                    //如果你存储在数据库中的内容已经做了全文索引
                    //这个检索出来的结果回包括:查询语句所在的库、表、Key字段名、Key字段值、索引内容、索引内容的动态摘要
                    rf = new RemoteFactory();
                    string queryString = Console.ReadLine();
                    //参数说明：搜索语句、页号、每页条数、希望真正执行检索的节点IP
                    DataBaseSearchResults dbsrs = rf.DistributionDataBaseFullTextSearch(queryString, 1, 10, "127.0.0.2");
                    if (dbsrs.DataBaseSearchResultEntityList.Count > 0)
                    {
                        Console.WriteLine("查询串：" + dbsrs.QueryString);
                        Console.WriteLine("查询串分词结果：" + dbsrs.SearchWords.ToValue());
                        Console.WriteLine("页号：" + dbsrs.PageNumber);
                        Console.WriteLine("每页条数：" + dbsrs.PageSize);
                        Console.WriteLine("总页数：" + dbsrs.PageCount);
                        Console.WriteLine("总条数：" + dbsrs.SearchCount);
                        Console.WriteLine("搜索总用时(豪秒)：" + dbsrs.ElapsedMilliseconds);
                        Console.WriteLine("搜索IO用时(豪秒)：" + dbsrs.ioMilliseconds);
                        Console.WriteLine("搜索排序用时(豪秒)：" + dbsrs.SortMilliseconds);
                        foreach (DataBaseSearchResultEntity dbsre in dbsrs.DataBaseSearchResultEntityList)
                        {
                            Console.WriteLine("DataBaseName：" + dbsre.DataBaseName);
                            Console.WriteLine("TableName：" + dbsre.TableName);
                            Console.WriteLine("KeyFieldName：" + dbsre.KeyFieldName);
                            Console.WriteLine("KeyFieldValue：" + dbsre.KeyFieldValue);
                            Console.WriteLine("Context：" + dbsre.Context);
                            Console.WriteLine("ContextDynamicSummary(动态摘要)：" + dbsre.ContextDynamicSummary);
                        }
                    }
                    goto Thebegin;
                case 9:
                    //如果你的内容存储在数据库中,那么全文索引可以采用这种方案
                    //这个索引的同时不会存储快照
                    //索引后返回一个唯一的ID
                    rf = new RemoteFactory();
                    long recordDocId = 0;
                    for (int i = 0; i < 100000; i++)  //索引十万笔数据小试一下,大约10分钟
                    {
                        //参数说明：
                        // 数据库名(必填)、表名(必填)、Key字段名(必填)、Key字段值(必填)、正文(必填)、希望真正执行索引的节点IP
                        recordDocId = rf.DistributionDataBaseFullTextIndexNoSnapShot("DB001", "T0001", "F0001", Api.uuid(false), "我是一个兵,来自老百姓", "127.0.0.2");
                        if (recordDocId == 0)
                            Console.WriteLine("远程索引(无快照)失败!");
                        else
                            Console.WriteLine("远程索引(无快照)成功，全文索引编号：" + recordDocId);
                    }

                    goto Thebegin;
                case 10:
                    //如果你存储在数据库中的内容已经做了全文索引
                    //这个检索出来的结果包括索引的时候生成的 ID列表
                    rf = new RemoteFactory();
                    queryString = Console.ReadLine();
                    //参数说明：搜索语句、页号、每页条数、希望真正执行检索的节点IP
                    DataBaseSearchResultsNoSnapShot dbsrsnss = rf.DistributionDataBaseFullTextSearchNoSnapShot(queryString, 10000, 10, "127.0.0.2");
                    if (dbsrsnss.RecordDocIds.Count > 0)
                    {
                        Console.WriteLine("查询串：" + dbsrsnss.QueryString);
                        Console.WriteLine("查询串分词结果：" + dbsrsnss.SearchWords.ToValue());
                        Console.WriteLine("页号：" + dbsrsnss.PageNumber);
                        Console.WriteLine("每页条数：" + dbsrsnss.PageSize);
                        Console.WriteLine("总页数：" + dbsrsnss.PageCount);
                        Console.WriteLine("总条数：" + dbsrsnss.SearchCount);
                        Console.WriteLine("搜索总用时(豪秒)：" + dbsrsnss.ElapsedMilliseconds);
                        Console.WriteLine("搜索IO用时(豪秒)：" + dbsrsnss.ioMilliseconds);
                        Console.WriteLine("搜索排序用时(豪秒)：" + dbsrsnss.SortMilliseconds);
                        foreach (long RecordDocId in dbsrsnss.RecordDocIds)
                        {
                            Console.WriteLine("全文索引编号：" + RecordDocId);
                        }
                    }
                    goto Thebegin;

                case 11:
                    //如果你的内容是抓取后的网页或文本,那么全文索引可以采用这种方案
                    //这个索引的同时会存储快照
                    rf = new RemoteFactory();
                    r = false;
                    for (int i = 0; i < 1000000; i++)  //索引100万笔数据小试一下,大约2小时
                    {
                        //参数说明：
                        // 链接(必填)、网页Html内容、网站的IP地址、网站web服务器类型、标题(必填)、正文(必填)、
                        // 时间(必填)、网页的权重(0-100)、希望真正执行索引的节点IP
                        // ★网页的权重 一旦指定所对应的网页所有的关键词都会增加相应的权重
                        r = rf.DistributionWebFullTextIndex("http://www.yunxunmi.com/" + i + ".html", 
                            "<body>云寻觅搜索引擎</body>", "127.0.0.1", "IIS", "云寻觅搜索引擎官网", 
                            "云寻觅搜索引擎", DateTime.Now, 100, "127.0.0.2");
                    }
                    if (r)
                        Console.WriteLine("远程索引网页成功!");
                    else
                        Console.WriteLine("远程索引网页失败!");
                    goto Thebegin;

                case 12:
                    //如果你的网页或文本已经做了全文索引
                    //这个检索出来的结果回包括:链接、网页Html内容、标题、正文、网站的IP地址、
                    //网站web服务器类型、网页权重、标题动态摘要、正文动态摘要
                    rf = new RemoteFactory();
                    queryString = Console.ReadLine();
                    //参数说明：搜索语句、页号、每页条数、希望真正执行检索的节点IP
                    WebSearchResults wsrs = rf.DistributionWebFullTextSearch(queryString, 1, 10, "127.0.0.2");
                    if (wsrs.WebSearchResultEntityList.Count > 0)
                    {
                        Console.WriteLine("查询串：" + wsrs.QueryString);
                        Console.WriteLine("查询串分词结果：" + wsrs.SearchWords.ToValue());
                        Console.WriteLine("页号：" + wsrs.PageNumber);
                        Console.WriteLine("每页条数：" + wsrs.PageSize);
                        Console.WriteLine("总页数：" + wsrs.PageCount);
                        Console.WriteLine("总条数：" + wsrs.SearchCount);
                        Console.WriteLine("搜索总用时(豪秒)：" + wsrs.ElapsedMilliseconds);
                        Console.WriteLine("搜索IO用时(豪秒)：" + wsrs.ioMilliseconds);
                        Console.WriteLine("搜索排序用时(豪秒)：" + wsrs.SortMilliseconds);
                        foreach (WebSearchResultEntity wsre in wsrs.WebSearchResultEntityList)
                        {
                            Console.WriteLine("Url：" + wsre.Url);
                            Console.WriteLine("Html：" + wsre.Html);
                            Console.WriteLine("Title：" + wsre.Title);
                            Console.WriteLine("Context：" + wsre.Context);
                            Console.WriteLine("WebSiteIpAddress：" + wsre.WebSiteIpAddress);
                            Console.WriteLine("WebServer：" + wsre.WebServer);
                            Console.WriteLine("WebPageWeights(网页权重)：" + wsre.WebPageWeights);
                            Console.WriteLine("TitleDynamicSummary(标题动态摘要)：" + wsre.TitleDynamicSummary);
                            Console.WriteLine("ContextDynamicSummary(正文动态摘要)：" + wsre.ContextDynamicSummary);
                        }
                    }
                    goto Thebegin;

                case 13:
                    //如果你的内容是抓取后的网页或文本,那么全文索引可以采用这种方案
                    //这个索引的同时不会存储快照
                    //索引后返回一个唯一的文档ID
                    rf = new RemoteFactory();
                    long WebDocId = 0;
                    for (int i = 0; i < 2000000; i++)  //索引200万笔数据小试一下,大约4小时
                    {
                        //参数说明：
                        // 链接(必填)、标题(必填)、正文(必填)、网页的权重(0-100)、希望真正执行索引的节点IP
                        // ★网页的权重 一旦指定所对应的网页所有的关键词都会增加相应的权重
                        WebDocId = rf.DistributionWebFullTextIndexNoSnapShot("http://www.yunxunmi.com/" + i + ".html",
                            "云寻觅搜索引擎官网", "云寻觅搜索引擎", 10, "127.0.0.2");
                        if (WebDocId == 0)
                            Console.WriteLine("远程索引网页(无快照)失败!");
                        else
                            Console.WriteLine("远程索引网页(无快照)成功，全文索引编号：" + WebDocId);
                    }

                    goto Thebegin;

                case 14:
                    //如果你的网页或文本已经做了全文索引
                    //无快照
                    //这个检索出来的结果包括索引的时候生成的文挡ID列表
                    queryString = Console.ReadLine();
                    queryString = string.IsNullOrEmpty(queryString) ? "云寻觅搜索引擎" : queryString;
                    for (int j = 0; j < 100; j++)
                    {
                        rf = new RemoteFactory();
                        //参数说明：搜索语句、页号、每页条数、希望真正执行检索的节点IP
                        WebSearchResultsNoSnapShot wsrsnss = rf.DistributionWebFullTextSearchNoSnapShot(queryString, 10, 10, "192.168.1.6");
                        Console.WriteLine("查询串：" + wsrsnss.QueryString);
                        Console.WriteLine("查询串分词结果：" + wsrsnss.SearchWords.ToValue());
                        Console.WriteLine("页号：" + wsrsnss.PageNumber);
                        Console.WriteLine("每页条数：" + wsrsnss.PageSize);
                        Console.WriteLine("总页数：" + wsrsnss.PageCount);
                        Console.WriteLine("总条数：" + wsrsnss.SearchCount);
                        Console.WriteLine("搜索总用时(豪秒)：" + wsrsnss.ElapsedMilliseconds);
                        Console.WriteLine("搜索IO用时(豪秒)：" + wsrsnss.ioMilliseconds);
                        Console.WriteLine("搜索排序用时(豪秒)：" + wsrsnss.SortMilliseconds);
                        foreach (long webDocId in wsrsnss.WebDocIds)
                        {
                            Console.WriteLine("网页全文索引编号：" + webDocId);
                        }
                    }
                    goto Thebegin;

                case 15:
                    //★★★★★★★★★★★★★★★★★
                    //         这里是集群搜索
                    //搜索指定IP以及其下层所有节点(并行)
                    //★★★★★★★★★★★★★★★★★
                    //如果你的网页或文本已经做了全文索引
                    //这个检索出来的结果包括索引的时候生成的文挡ID列表 
                    //★注；无论搜索结果有多少，只返回最多1000条数据 
                    queryString = Console.ReadLine();
                    queryString = string.IsNullOrEmpty(queryString) ? "云寻觅搜索引擎" : queryString;
                    for (int j = 0; j < 100; j++)  //执行100次搜索检测一下看内存是否溢出
                    {
                        rf = new RemoteFactory();
                        //参数说明：搜索语句、页号、每页条数、希望真正执行检索的节点IP
                        WebSearchResultsNoSnapShot cwsrsnss = rf.DistributionClustersWebFullTextSearchNoSnapShot(queryString, 2, 10, "192.168.1.4");
                        if (cwsrsnss.WebDocIds.Count > 0)
                        {
                            Console.WriteLine("查询串：" + cwsrsnss.QueryString);
                            Console.WriteLine("查询串分词结果：" + cwsrsnss.SearchWords.ToValue());
                            Console.WriteLine("页号：" + cwsrsnss.PageNumber);
                            Console.WriteLine("每页条数：" + cwsrsnss.PageSize);
                            Console.WriteLine("总页数：" + cwsrsnss.PageCount);
                            Console.WriteLine("总条数：" + cwsrsnss.SearchCount);
                            Console.WriteLine("搜索总用时(豪秒)：" + cwsrsnss.ElapsedMilliseconds);
                            Console.WriteLine("搜索平均IO用时(豪秒)：" + cwsrsnss.ioMilliseconds);
                            Console.WriteLine("搜索平均排序用时(豪秒)：" + cwsrsnss.SortMilliseconds);
                            foreach (long webDocId in cwsrsnss.WebDocIds)
                            {
                                Console.WriteLine("集群网页全文索引编号：" + webDocId);
                            }
                        }
                    }
                    goto Thebegin;

                case 16:
                    //由指定IP的节点来执行中文分词
                    string mContext = Console.ReadLine();
                    rf = new RemoteFactory();
                    try
                    {
                        if (String.IsNullOrEmpty(mContext))
                            goto Thebegin;
                        List<string> ls = new List<string>();
                        //参数说明：
                        // 要分词的正文内容、分词类型(CutType.Max:最大分词、CutType.Min最小分词、CutType.MinAndMax最小+最大分词、CutType.MinAndMaxAndMiddle最小+中间+最大分词)、
                        // 正文是否 html内容如果 true 程序会自动对 html进行解析提取正文后在分词、
                        // 希望真正执行中文分词的节点IP
                        foreach (DictionaryEntry de in rf.SpecifyIpRemoteFenCi(mContext, CutType.Max, false, "127.0.0.2"))
                        {
                            ls.Add(de.Key.ToString());
                            Console.WriteLine("分词结果->词汇：" + de.Key.ToString() + " 权重：" + de.Value.ToString());
                        }
                        Console.WriteLine("分词结果：" + ls.ToValue());
                    }
                    catch { goto Thebegin; }
                    goto Thebegin;
                case 17:
                    //由指定IP的节点及其下层所有节点中性能最优的节点机来执行中文分词
                    mContext = Console.ReadLine();
                    rf = new RemoteFactory();
                    try
                    {
                        if (String.IsNullOrEmpty(mContext))
                            goto Thebegin;
                        List<string> ls = new List<string>();
                        //参数说明：
                        // 要分词的正文内容、分词类型(CutType.Max:最大分词、CutType.Min最小分词、CutType.MinAndMax最小+最大分词、CutType.MinAndMaxAndMiddle最小+中间+最大分词)、
                        // 正文是否 html内容如果 true 程序会自动对 html进行解析提取正文后在分词、
                        // 希望真正执行中文分词的节点IP
                        foreach (DictionaryEntry de in rf.TheBestRemoteFenCi(mContext, CutType.Max, false, "127.0.0.2"))
                        {
                            ls.Add(de.Key.ToString());
                            Console.Write("分词结果->词汇：" + de.Key.ToString() + " 权重：" + de.Value.ToString() + "\n");
                        }
                        Console.Write("分词结果：" + ls.ToValue() + "\n");
                    }
                    catch { goto Thebegin; }
                    goto Thebegin;

                case 18:
                    //全局自增长流水号(整数), 每次调用就会返回指定IP节点的下一个流水号，这个完全是系统额外提供的函数，系统本身并不使用。
                    //这个是线程安全的，支持大规模并发。服务停止后系统会保存最后的流水号，作为下次的起始值。
                    rf = new RemoteFactory();
                    int iSerialNumber = 0;
                    try
                    {
                        iSerialNumber = rf.OverallSituationSinceTheGrowthSerialNumber("127.0.0.2");
                    }
                    catch
                    {
                        Console.WriteLine("远程调用全局自增长流水号失败!");
                    }

                    goto Thebegin;
                default:
                    break;
            }
        }
    }
}

参考范例网站： http://sousuo.yunxunmi.com/当然目前的版本即便是单机性能也比测试网站性能强至少 10倍！

在30台PC上做了一周时间的测试，每台机器索引了200万的数据，共6000万模拟网页数据。

任意检索不超过 1秒, 发现目前在云检索的性能、相关性等方面上还有很多值得进一步优化的，因此希望大家多提宝贵意见，谢谢！

有任何疑问或建议请联系QQ群: 204725117