zoukankan      html  css  js  c++  java
  • 笔记:使用.NET做RSS抓取应用程序

    搞了有一段时间了,记点笔记。

    1. 频道(Feed)的解析,开始自己写,很多东西搞不定,后使用RSS.NET的类库,很不错,一劳永逸。这里面涉及到了不少的东西:如,各种RSS版本的兼容,最新更新的文章的比对入库等。
    2. 多线程,线程池。以前没有做过类似的东西,费了不少劲,现在还可以接受,但是还有很多需要优化。只要是使用多线程分头去读取各个频道(Feed),并将日志写入LOG文件。使用生产者-消费者的模式。把所有的频道(Feed)放入到一个堆栈中,作为生产者;各个线程都是消费者。
    3. 对抓取的频道(Feed)设置优先级,用优先级决定抓取的频率和次数。(暂时还没有考虑)
    4. 现有问题,如何控制抓取一个频道(Feed)的时候的超时时间?
    5. 程序运行时占用基本上都是CPU100%,内存也进本上吃透了,性能是个问题啊
    6. 总之,现在勉强还可以用,迫切需要优化。

    上面是技术笔记,从商业角度来说我对做一个“抓虾”或者bloglines或者博客搜索缺乏信心。同时又知道了自己基础薄弱,学习能力有待加强。人生短暂,不能空有一腔热血,更多的是学习,动手做!

    好好学习,天天向上!

  • 相关阅读:
    [SNOI2019]数论
    [HNOI2019]校园旅行
    [TJOI2019]唱、跳、rap和篮球
    [Ctsc2015]misc
    [IOI2018] meetings 会议
    [ZJOI2019]语言
    51nod1600 Simple KMP
    [APIO2013]道路费用
    [FJOI2018]领导集团问题
    [ZJOI2012]小蓝的好友
  • 原文地址:https://www.cnblogs.com/lbk/p/628203.html
Copyright © 2011-2022 走看看