zoukankan      html  css  js  c++  java
  • 结合SQL Server全文检索对Word内容进行检索的三个方案

    SQL Server 2008中SQL应用系列及BI学习笔记系列--目录索引

    导读:除了利用office提供的API对word文档内容进行检索外,本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。

    一、结合Windows索引服务进行全文检索

    方案摘要:

    1. 改变文件存储时的文件名;

    2. 配置索引服务器,并将索引服务器与MS SQL Server关联。

    3. 修改SQL语句,将进行全文查询语句的内容加入查询条件中

    一个详细的实例,参考这里:http://database.ctocio.com.cn/51/11440551.shtml

    优点:可以独立对文件以目录方式物理存放,并且这些文件继续以doc格式存放。

    缺点:只能读取,不能写入。

    二、结合BLOB数据进行全文检索

    方案摘要:将doc文件以BLOB数据格式varbinary(max)存放于数据库的表中,再对表进行全文检索。这是最为常见的一种方案了。

    一个简单插入表的示例:

    -------二进制文件查询示例
    /*
    ********************3w@live.cn****************/
    Use Master
    Go
    IFEXISTS (SELECT name FROM sys.databases WHERE name = N'BlobDataDemoDB')
    DROPDATABASE BlobDataDemoDB
    GO

    USE Master
    GO
    CREATEDATABASE BlobDataDemoDB
    GO
    --------启用全文检索
    /*
    ********************3w@live.cn****************/
    execute sp_fulltext_database 'enable'
    go

    use blobDataDemoDB
    GO
    --创建一个包含BlOB列的表
    /*
    ********************3w@live.cn****************/
    ifOBJECT_ID('SampleBlobTable') isnotnull
    droptable SampleBlobTable
    go

    CREATETABLE SampleBlobTable
    (
    [PKID]intidentity(1,1) primarykey,
    [FileType]Nvarchar(32) null,
    [FileName]Nvarchar(255) null,
    [FileContent]VARBINARY(MAX) NULL,
    [AddTime]datetimedefault(getdate())
    )
    GO

    IFEXISTS (SELECT*FROM sys.objects WHERE
     
    object_id=OBJECT_ID(N'[dbo].[CPP_InsertOneBlobDataToTable]')
    AND
    type in (N'P', N'PC'))
    DROPPROCEDURE[dbo].[CPP_InsertOneBlobDataToTable]
    GO
    --创建一个插入数据到SQL server的存储过程
    /*
    ********************3w@live.cn****************/
    CREATEPROCEDURE CPP_InsertOneBlobDataToTable
    (
    @FileTypenvarchar(32),
    @FileNamenvarchar(255),
    @FileContentVARBINARY(MAX)
    )
    AS
    INSERT SampleBlobTable([FileType],[FileName],[FileContent],[AddTime])
    VALUES (@FileType,@Filename,@FileContent,getdate())
    GO
    using System;
    using System.Collections.Generic;
    using System.Linq;
    using System.Text;
    using System.IO;
    using System.Data.SqlClient;
    using System.Data;

    namespace BlobDataSearchDemo
    {
    class Program
    {
    conststring conn =@"Server=ap4\Agronet09;DataBase=BlobDataDemoDB;uid=sa;pwd=as;";
    staticvoid Main(string[] args)
    {
    SaveDoc2SQLServer(
    @"D:\2008Data\StreamData\Doc\轻舞飞扬.doc", conn);
    SaveDoc2SQLServer(
    @"D:\2008Data\StreamData\Doc\天龙八部.doc", conn);
    SaveDoc2SQLServer(
    @"D:\2008Data\StreamData\Doc\English.doc", conn);

    Console.ReadKey();

    }

    privatestaticvoid SaveDoc2SQLServer(string filepath, string conn)
    {
    FileInfo fi
    =new FileInfo(filepath);
    if (fi.Exists)
    {

    //Open the stream and read it back.
    using (FileStream fs = File.OpenRead(filepath))
    {
    byte[] b =newbyte[fi.Length];
    SqlConnection Conn;
    SqlCommand cmdUploadDoc;
    UTF8Encoding temp
    =new UTF8Encoding(true);
    while (fs.Read(b, 0, b.Length) >0)
    {
    Conn
    =new SqlConnection(conn);

    //Setting the SqlCommand
    cmdUploadDoc =new SqlCommand("CPP_InsertOneBlobDataToTable", Conn);
    cmdUploadDoc.CommandType
    = CommandType.StoredProcedure;
    cmdUploadDoc.Parameters.Add(
    "@FileName", SqlDbType.NVarChar, 200).Value = fi.Name;
    cmdUploadDoc.Parameters.Add(
    "@FileContent", SqlDbType.VarBinary, 0).Value =b;
    cmdUploadDoc.Parameters.Add(
    "@FileType", SqlDbType.NVarChar, 32).Value =
                              fi.Extension.Replace(
    ".","");
    Conn.Open();
    cmdUploadDoc.ExecuteNonQuery();
    Conn.Close();
    }
    }
    }
    }
    }
    }


    查询结果:

    邀月工作室

    注意:

    1、在数据库设置全文检索时,必须有一个字段是文档类型,SQL Server全文检索依据此文档类型启动相应的doc引擎进行检索。

    2、必须设置全文检索的语言,中文为2052,英文为1033。

    邀月工作室

    邀月工作室

    优点:将doc文件导入SQL Server数据库中,可以方便地进行读取和全文检索,必要时也可以写入。

    缺点:varbinary(Max)受2G大小限制,而且数据库存入大量的BLOB数据,将变得异常臃肿,检索速度将大大降低。

    三、结合FileStream进行全文检索

    方案摘要:与方案二类似,只不过利用FileStream技术将doc文件以数据格式varbinary(max)存放于数据库外的物理文件中,再对表进行全文检索。

    在SQL Server 2008 中
    – FILESTREAM 数据不支持远程存储
    – 不支持数据库快照和数据库镜像
    – 某些Katmai的功能不支持FILESTREAM ,例如:
    • SQL 加密
    • 表值参数

    前提:必须安装全文检索并启用FileStream

    邀月工作室

    邀月工作室

    参考:

    http://msdn.microsoft.com/zh-cn/library/bb933993.aspx

    http://www.cnblogs.com/downmoon/archive/2010/05/06/1727546.html

    http://www.cnblogs.com/downmoon/archive/2010/05/08/1730044.html

    优点:将doc文件导入SQL Server数据库中,可以方便地进行读取和全文检索,必要时也可以写入,并且克服了方案二的缺点。varbinary(Max)字段只存放索引,而实际的内容存放于数据库外,大小只受NTFS文件夹物理大小的限制。

    小结:本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。本人认为方案一和方案三均可行。欢迎交流。3w@live.cn

  • 相关阅读:
    PAT 05-树7 File Transfer
    PAT 05-树6 Path in a Heap
    PAT 10-2 删除字符串中的子串
    PAT 10-1 在字符串中查找指定字符
    PAT 10-0 说反话
    PAT 08-2 求矩阵的局部最大值
    PAT 07-3 求素数
    PAT 07-2 A+B和C
    PAT 07-0 写出这个数
    PAT 06-3 单词长度
  • 原文地址:https://www.cnblogs.com/downmoon/p/2024351.html
Copyright © 2011-2022 走看看