zoukankan      html  css  js  c++  java
  • 论坛搜索网站技术概述 供参考

    主要技术简介:

    1.架构采用Asp.net Mvc+三层架构。

    2.搜索功能使用lucene.net+盘古分词。

    3.定时任务使用Quartz.net。( 用windows自带的太土了。)。

    4.日志记录使用Log4net(非常好用)。

    5.网站爬虫使用webclient(webrequest速度较慢)。

    6.网页数据提取使用HtmlAgilityPack+正则表达式。

    7.采用多线程(开启三个线程)分段对网站帖子进行索引,索引库未进行合并,搜索采用lucenue.net自带类库对三个索引库进行并行搜索。

    网站其他功能陆续完善中,因网络带宽和主机配置限制(体验版阿里云单核多线程爬虫优势不明显),索引库数据较少,下一步可以做成分布式搜索(暂时不会)。

    由于网站有广告嫌疑,就不公布了 。

  • 相关阅读:
    LeetCode 70
    LeetCode 81
    LeetCode 33
    LeetCode 78
    LeetCode 50
    LeetCode 34
    关于机器学习的学习笔记
    图的 DFS 与 BFS 复杂度分析
    Sqlalchemy的学习使用和常见问题
    mysql的使用和远程连接
  • 原文地址:https://www.cnblogs.com/net515/p/2845628.html
Copyright © 2011-2022 走看看