zoukankan      html  css  js  c++  java
  • 如何在Web数据挖掘中保证用户访问速度的一点实践(SQLite+Quartz)

    这个问题一直纠结我很久,以前也想过很多很多想法如下:

    1)记录在WebDb中;

    2)采用异步线程记录;

    3)采用js像cnzz,google那样;

    4) 等等记得的就这些了

    但是都被我扼杀在脑海中了,第一种方式,本来webdb就已经负载不小了,每次请求都记录太不实际,而且采集的数据结构也会时常变化,通常根据当前的研究方向等来确定。第二种方式,比较好,但是怎么让线程在当前环境下存活也是个问题。第三种方式,很多js ajax无法记录。

    这个时候SQLite我觉得是个不错的选择,跑在web端,不会对数据库服务器造成压力,而且在负载均衡中我只要有一台开启采集就可以了。

    要更改数据结构也很方便,改好了把原来的拿下来就可以了,备份等也很方便,文件化的好处显而易见。

    效率上面对高负载写入还是很吃力的,但是Quartz解决这个问题了,在它的帮助下就跟异步一样我不需要关心它什么时候执行,也不会影响当前请求,还可以对写入任务进行统一管理,添加侦听器等。

    目前跑的还是很不错的,效果有待观察。

  • 相关阅读:
    centos7搭建nexus
    centos7搭建ftp
    tomcat笔记
    mysql跨服务器触发器
    IntelliJ IDEA笔记
    node.js笔记
    myeclipse笔记
    术语
    centos7安装mysql
    js跨域访问资源
  • 原文地址:https://www.cnblogs.com/jinzhao/p/2184375.html
Copyright © 2011-2022 走看看