zoukankan      html  css  js  c++  java
  • 大数据量处理模式

    【数据库】
    建视图、建索引来优化查询
    用分页查询的存储过程
    游标。。。
    异步?
     


    【Ajax大数据量处理(分页思维)】思路如下:

      将大数据量数据进行分割返回,例如需要返回100条数据,我们可以通过10次请求来进行返回数据。每次返回数据的时候其中包括数量的总行数、返回当前数据的位置、此次返回数据的数量。

    例如:{TotalRowsCount:100,CurrentRowsIndex:60,CurrentRowsCount:10}。

    代表总行数:100,当前行数已经返回到:60,此次返回数量10。


    【程序代码】


    【算法方案】

    A.分布式处理 mapreduce

    适用范围:数据量大,但是数据种类小可以放入内存
     
    基本原理及要点:将数据交给不同的机器去处理,数据划分,结果归约。



    【总结】时间与空间的转换
    0.算法        [100%]  (树 哈希)
    1.预加载      [空间]  (缓存,堆)
    2.预排列      [时间]  (索引)
    3.分割=>归并  [t=T/N] (DB分页,Ajax分批,发布式,多线程,逻辑分类:多数据文件)


    【成本开销】找瓶颈
    1.IO资源
    2.网路资源
    3.算法冗余

  • 相关阅读:
    jquery学习
    java--MVC引入JUnit单元测试
    BAE引擎发布到外网
    ORACLE1.26 综合:游标和动态SQL
    ORACLE1.25 动态SQL
    ORACLE1.24 银行系统操作和游标
    ORACLE1.23 loop,whild.for循环
    ORACLE1.23 if case when
    ORACLE1.22 %type %rowtype
    ORACLE1.21 PLSQL 01
  • 原文地址:https://www.cnblogs.com/AspDotNetMVC/p/2764611.html
Copyright © 2011-2022 走看看