zoukankan      html  css  js  c++  java

  • (转)lucene.net，包括对htm,word,doc,pdf,等等式进行parse解析，取得内容

    本文转载自：http://blog.csdn.net/hehui21/article/details/2873933

    这几天完成一个相关lucene.net 索引，特此写上来供大爱评论！

    建立全文索引，主要有两步，一，建立索引，二，查找，那么我先来讲一下怎么新建索引！
    引用类：

    1. Imports System.Data
    2. Imports System.IO
    3. Imports System.Net
    4. Imports System.Text
    5. Imports System.Data.SqlClient
    6. Imports System.Data.Sql
    7. Imports System.Text.RegularExpressions
    8. Imports System.Web
    9. Imports System.Threading
    11. Imports Microsoft.Office
    12. Imports Lucene.Net.Documents
    13. Imports Lucene.Net.Index
    14. Imports Lucene.Net.Search
    15. Imports Lucene.Net.QueryParsers
    16. Imports Lucene.Net.Analysis.Cn
    17. Imports Lucene.Net
    18. Imports System.Data.OleDb


    我这里是把它做成一个类的，它是一个form程式，里面有一个按钮，一个rechibox,一个timer然后在这个类里定义一些私有变量：
    -

    1.    Private Delegate Sub indexfile_delegate()
    2.     Private _dir As String = "D:/idx"'存放索引位置
    3.     Private _display_index_Name As String = "XYPart_index"
    4.     'Private display_index_directory As String = _dir
    5.     Private _Analysis As New Lucene.Net.Analysis.Cn.ChineseAnalyzer
    6.     Private _writer As IndexWriter '新建一个索引
    7.     Private startTime As DateTime'定义程式开始运行时间，主要是记录索引时间用
    9.     Private _conn As New System.Data.SqlClient.SqlConnection("server=你的数据库地址;database=databasename;User Id = 用户名称;Password =密码;")

    1.  '解读出数据里的数据
    2.     Public Function F_getDataFromTable() As SqlDataReader
    3.         'connection
    4.          _conn.Open()
    5.         Dim query As String = ”sql语句“
    6.          Dim mycom As SqlCommand
    7.         mycom = New SqlCommand(query, _conn)
    8.         Dim myrea As SqlDataReader
    9.          myrea = mycom.ExecuteReader
    10.          Return myrea
    11.     End Function


    解读出附件里的文件内容：

    1.     Public Function FileParse(ByVal file As String) As String
    2.         Dim result As String = ""
    3.         '  For j As Integer = 0 To file.Length - 1
    4.         Dim T_str As String = Path.GetExtension(file).ToLower
    5.         Select Case T_str
    6.             Case ".txt"
    7.                 result = TxtParse(file)
    8.             Case ".htm"
    9.                 result = htmParse(file)
    10.             Case ".html"
    11.                 result = htmParse(file)
    12.             Case ".pdf"
    13.                 result = PDFParse(file)
    14.             Case ".docx"
    15.                 result = WordParse(file)
    16.             Case ".doc"
    17.                 result = WordParse(file)
    18.             Case ".ppt"
    19.                 result = PPTParse(file)
    20.             Case ".pptx"
    21.                 result = PPTParse(file)
    22.             Case ".xlsx"
    23.                 result = ExcelParse(file)
    24.             Case ".xls"
    25.                 result = ExcelParse(file)
    26.         End Select
    27.         '  Next
    28.         Return result
    29.     End Function
    30.     Public Function htmParse(ByVal path As String) As String
    31.         Dim sr As New StreamReader(path, System.Text.Encoding.Default)
    32.         Dim file_html As String
    33.         file_html = sr.ReadToEnd
    35.         Dim Htmlstring As String = System.Text.RegularExpressions.Regex.Replace(file_html, "<[^>]*>", "")
    37.         'remove script 
    38.         Htmlstring = Regex.Replace(Htmlstring, "<script[^>]*?>.*?</script>", "", RegexOptions.IgnoreCase)
    39.         'remove html
    40.         Htmlstring = Regex.Replace(Htmlstring, "<(.[^>]*)>", "", RegexOptions.IgnoreCase)
    41.         Htmlstring = Regex.Replace(Htmlstring, "([/r/n])[/s]+", "", RegexOptions.IgnoreCase)
    42.         Htmlstring = Regex.Replace(Htmlstring, "-->", "", RegexOptions.IgnoreCase)
    43.         Htmlstring = Regex.Replace(Htmlstring, "<!--.*", "", RegexOptions.IgnoreCase)
    44.         Htmlstring = Regex.Replace(Htmlstring, "&(quot|#34);", "/", RegexOptions.IgnoreCase)
    45.         Htmlstring = Regex.Replace(Htmlstring, "&(amp|#38);", "&", RegexOptions.IgnoreCase)
    46.         Htmlstring = Regex.Replace(Htmlstring, "&(lt|#60);", "<", RegexOptions.IgnoreCase)
    47.         Htmlstring = Regex.Replace(Htmlstring, "&(gt|#62);", ">", RegexOptions.IgnoreCase)
    48.         Htmlstring = Regex.Replace(Htmlstring, "&(nbsp|#160);", " ", RegexOptions.IgnoreCase)
    49.         Htmlstring = Regex.Replace(Htmlstring, "&(iexcl|#161);", "/xa1", RegexOptions.IgnoreCase)
    50.         Htmlstring = Regex.Replace(Htmlstring, "&(cent|#162);", "/xa2", RegexOptions.IgnoreCase)
    51.         Htmlstring = Regex.Replace(Htmlstring, "&(pound|#163);", "/xa3", RegexOptions.IgnoreCase)
    52.         Htmlstring = Regex.Replace(Htmlstring, "&(copy|#169);", "/xa9", RegexOptions.IgnoreCase)
    53.         Htmlstring = Regex.Replace(Htmlstring, "&#(/d+);", "", RegexOptions.IgnoreCase)
    54.         Htmlstring.Replace("<", "")
    55.         Htmlstring.Replace(">", "")
    56.         Htmlstring.Replace("/r/n", "")
    57.         'Htmlstring = System.Web.HttpContext.Current.Server.HtmlEncode(Htmlstring).Trim()
    59.         Return Htmlstring.Replace(" ", " ")
    60.     End Function
    61.     Public Function TxtParse(ByVal Path_str As String) As String
    62.         Dim sr As New StreamReader(Path_str, System.Text.Encoding.Default)
    63.         Dim str As String = sr.ReadToEnd
    64.         Return str
    65.     End Function
    66.     Public Function PDFParse(ByVal path_str As String) As String
    67.         Dim Path_str_totxt As String = path_str.Substring(0, path_str.LastIndexOf(".")) + ".txt"
    68.         Dim str As String = ""
    69.         Try
    72.             Shell(_datadir + "TextMiningTool/minetext.exe" + " " + path_str + " " + Path_str_totxt)
    73.             str = TxtParse(Path_str_totxt)
    75.             Shell("del /q /f " + Path_str_totxt)
    77.         Catch ex As Exception
    78.             MsgBox("this pdf    " + path_str + "  is not parsed ,the programme is continuing")
    80.         End Try
    81.         Return str
    82.     End Function
    83.     Public Function WordParse(ByVal path_str As String) As String
    84.         Dim missing = System.Reflection.Missing.Value
    85.         Dim isReadOnly As Boolean = False
    86.         Dim isVisible As Boolean = True
    88.         Dim openword As New Microsoft.Office.Interop.Word.Application
    89.         Dim word_doc As Microsoft.Office.Interop.Word.Document
    91.         word_doc = openword.Documents.Open(path_str, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, isVisible, missing, missing, missing, missing)
    92.         word_doc.Activate()
    93.         openword.Visible = False
    95.         Dim str As String
    96.         str = word_doc.Content.Text
    97.         openword.Quit(missing, missing, missing)
    98.         word_doc.Close()
    99.         Return str
    100.     End Function
    101.     Public Function ExcelParse(ByVal path_str As String) As String
    102.         Dim dbfconn As OleDb.OleDbConnection = New OleDb.OleDbConnection
    103.         Dim conn_excel As String
    104.         Dim FileExname As String = System.IO.Path.GetExtension(path_str).ToUpper
    105.         If FileExname <> ".XLSX" Then
    106.             conn_excel = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + path_str + ";Extended Properties='Excel 8.0;HDR=NO;IMEX=1';"
    107.         Else
    108.             conn_excel = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + path_str + ";Extended Properties='Excel 12.0;HDR=NO;IMEX=1';"
    109.         End If
    110.         Dim str As String = ""
    111.         dbfconn.ConnectionString = conn_excel
    112.         dbfconn.Open()
    113.         Dim tablename As String
    114.         Dim dt As DataTable = dbfconn.GetOleDbSchemaTable(OleDbSchemaGuid.Tables, Nothing)
    115.         For i As Integer = 0 To dt.Rows.Count - 1
    116.             tablename = dt.Rows(i)(2).ToString().Trim()
    117.             Dim strSQL As String = "Select * from [" + tablename + "]"
    118.             Dim objDA As System.Data.OleDb.OleDbDataAdapter = New System.Data.OleDb.OleDbDataAdapter(strSQL, conn_excel)
    119.             Dim objDS As New DataSet()
    120.             objDA.Fill(objDS)
    122.             For j As Integer = 0 To objDS.Tables(0).Rows.Count - 1
    123.                 For x As Integer = 0 To objDS.Tables(0).Columns.Count - 1
    124.                     str = str + " " + objDS.Tables(0).Rows(j)(x).ToString
    125.                 Next
    126.             Next
    127.         Next
    128.         dbfconn.Close()
    129.         Return str
    130.     End Function
    131.     Public Function PPTParse(ByVal file As String) As String
    132.         Dim targetFile As String = file
    133.         Dim str As String = ""
    135.         Dim ppApp As New Microsoft.Office.Interop.PowerPoint.Application
    137.         Dim prsPres As Microsoft.Office.Interop.PowerPoint.Presentation = ppApp.Presentations.Open(targetFile, True, False, False)
    140.         For Each slide As Microsoft.Office.Interop.PowerPoint.Slide In prsPres.Slides
    141.             For Each shape As Microsoft.Office.Interop.PowerPoint.Shape In slide.Shapes
    142.                 If shape.TextFrame.HasText = Microsoft.Office.Core.MsoTriState.msoTrue Then
    143.                     str = str + shape.TextFrame.TextRange.Text
    144.                 End If
    146.             Next
    147.         Next
    150.         prsPres.Close()
    151.         ppApp.Quit()
    153.         Return str
    155.     End Function

    建立索引：

    1. Private Sub indexfile()
    3.         Dim myrea As SqlDataReader
    4.         myrea = F_getDataFromTable()
    6.         'built field
    7.         Dim Field_contents_str As String = "" 'save the  contents from table ,
    8.         Dim Field_id As String = "" 'save the Requistion_no   id,
    9.         Dim Field_Datafile As String
    10.         Dim Field_file_Catagory As String
    12.         display_indexinfo("start")
    15.         ' Try
    17.         While (myrea.Read())
    18.             Dim doc As New Lucene.Net.Documents.Document
    19.             ' If myrea("file_category").ToString <> "" Then
    22.             Field_contents_str = myrea("Customer_Name").ToString + " " + myrea("Customer_Id").ToString + " " + myrea("Reject_Reason").ToString + " " + myrea("Remark").ToString + " " + myrea("Category").ToString
    23.             Field_contents_str = Field_contents_str + " " + myrea("AACATI_SO_No").ToString + " " + myrea("Vendor_Part_No").ToString + " " + myrea("Description").ToString + " " + myrea("AASC_Part_No").ToString + " " + myrea("Brand_Name").ToString
    26.             Field_id = myrea("requisition_no").ToString
    28.             'save the contents from various file
    29.             Dim fullpath As String = ""
    30.             fullpath = "../Utilities/Files/" + myrea("filefullname")
    31.             If File.Exists(fullpath) Then
    32.                 Field_Datafile = FileParse(fullpath)
    33.             Else
    34.                 Field_Datafile = ""
    35.             End If
    36.             '  fullpath = datadir + "word.doc"
    37.             Field_file_Catagory = myrea("file_category").ToString
    38.             doc.Add(New Lucene.Net.Documents.Field("Table_contents", Field_contents_str, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
    39.             doc.Add(New Lucene.Net.Documents.Field("File_contents", Field_Datafile, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
    40.             doc.Add(New Lucene.Net.Documents.Field("Requisition_no_id", Field_id, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.UN_TOKENIZED))
    41.             doc.Add(New Lucene.Net.Documents.Field("FullContents", Field_contents_str + Field_Datafile, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
    42.             doc.Add(New Lucene.Net.Documents.Field("FileCatagory", Field_file_Catagory, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
    43.             _writer.AddDocument(doc)
    44.             '  End If
    46.         End While
    48.         ' Catch ex As Exception
    49.         '  MsgBox("index is not success")
    50.         'End Try
    52.         display_indexinfo("finished")
    55.         myrea.Close()
    57.     End Sub

    显示索引中相关信息，比如文件名称，路径，等等，

    1.  Private Sub display_indexinfo(ByVal status As String)
    2.         '
    3.         Dim display_index_Time As Date
    4.         Dim _fi As New FileInfo("D:/idx/segments")
    5.         display_index_Time = _fi.LastAccessTime
    6.         Dim display_index_status As String = "Finished"
    9.         If Not File.Exists("D:/idx/segments") Then
    10.             DataList.AppendText("Sorry ,it is not built index!!")
    11.         ElseIf status.ToLower = "start" Then
    12.             DataList.Clear()
    13.           
    14.             startTime = Date.Now
    15.             DataList.AppendText("Index Name :     " + _display_index_Name + vbCrLf + vbCrLf)
    16.             DataList.AppendText("Index Directory:     " + _dir + vbCrLf + vbCrLf)
    17.             display_index_status = "in process"
    19.             DataList.AppendText("index  Status   :     " + display_index_status + vbCrLf)
    20.             DataList.AppendText("Start Time :     " + startTime.ToString + vbCrLf + vbCrLf)
    21.         ElseIf status.ToLower = "finished" Then
    22.        
    23.             Dim Endtime As DateTime = Date.Now
    24.             Dim timespan As TimeSpan = Endtime - startTime
    25.             '  doc.Add(New Lucene.Net.Documents.Field("Build_Time", timespan.ToString, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
    26.             ' _writer.AddDocument(doc)
    27.             DataList.AppendText("End Time :     " + Endtime.ToString + vbCrLf + vbCrLf)
    28.             DataList.AppendText("Span Time :     " + timespan.ToString + vbCrLf + vbCrLf)
    29.             DataList.AppendText(" Finished :")
    30.         Else
    31.             DataList.AppendText("Index Name :     " + _display_index_Name + vbCrLf + vbCrLf)
    32.             DataList.AppendText("Index Directory:     " + _dir + vbCrLf + vbCrLf)
    33.             DataList.AppendText("Index  Time:     " + display_index_Time + vbCrLf + vbCrLf)
    34.             DataList.AppendText("index  Status   :     " + display_index_status + vbCrLf)
    35.         End If
    39.         DataList.Refresh()
    40.     End Sub

    优化索引：

    1.     Public Sub optimize_index(ByVal ar As IAsyncResult)
    2.         Dim writer As IndexWriter = ar.AsyncState
    3.         'optimize index
    4.         writer.SetMergeFactor(100) 'set document number,if your memory is bigger,please set bigger,exm:100 or 1000,defult is 10
    5.         writer.SetMaxMergeDocs(999999999)
    6.         'MinMergeDocs(use it to control the memory)  and MergeFactory(control amalgamation  times and the size of amalgamation ),they have more affect to build the index,
    7.         'but  Number of Mergefactory is not bigger and better,because when the document Number of segment is bigger,the efficiency is lower,so set a right value please,
    8.         'If your memory is bigger,you can set the MinMergedocs bigger
    9.         writer.SetMaxFieldLength(100000) 'set char lenth,defult is 10 000
    12.         writer.Optimize()
    13.         writer.Close()
    14.         _conn.Close()
    15.     End Sub

    单击button，开始建立索引：

      1.   Private Sub btn_Builtindex_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles btn_Builtindex.Click
      2.         Timer1.Stop()
      3.         _writer = New IndexWriter(_dir, _Analysis, True)
      4.         Control.CheckForIllegalCrossThreadCalls = False
      5.         Dim CallbackOptimize As AsyncCallback = AddressOf optimize_index
      7.         Dim indexfile_gelegate_btn As New indexfile_delegate(AddressOf indexfile)
      8.         indexfile_gelegate_btn.BeginInvoke(CallbackOptimize, _writer)
      10.     End Sub
  • 相关阅读:
    网络安全基础——习题集
    文件上传
    python-nmap
    获得shell的几种姿势
    一句话木马
    svn: Failed to run the WC DB work queue associated svn的bug解决
    myEclipse卡顿解决
    myEclipse或eclipse复制或修改项目后的部署名称
    java跨域问题
    下拉框选中已选的选项查询操作
  • 原文地址：https://www.cnblogs.com/wpcnblog/p/2383559.html
Copyright © 2011-2022 走看看