zoukankan      html  css  js  c++  java
  • 大数据量处理模式

    【数据库】
    建视图、建索引来优化查询
    用分页查询的存储过程
    游标。。。
    异步?
     


    【Ajax大数据量处理(分页思维)】思路如下:

      将大数据量数据进行分割返回,例如需要返回100条数据,我们可以通过10次请求来进行返回数据。每次返回数据的时候其中包括数量的总行数、返回当前数据的位置、此次返回数据的数量。

    例如:{TotalRowsCount:100,CurrentRowsIndex:60,CurrentRowsCount:10}。

    代表总行数:100,当前行数已经返回到:60,此次返回数量10。


    【程序代码】


    【算法方案】

    A.分布式处理 mapreduce

    适用范围:数据量大,但是数据种类小可以放入内存
     
    基本原理及要点:将数据交给不同的机器去处理,数据划分,结果归约。



    【总结】时间与空间的转换
    0.算法        [100%]  (树 哈希)
    1.预加载      [空间]  (缓存,堆)
    2.预排列      [时间]  (索引)
    3.分割=>归并  [t=T/N] (DB分页,Ajax分批,发布式,多线程,逻辑分类:多数据文件)


    【成本开销】找瓶颈
    1.IO资源
    2.网路资源
    3.算法冗余

  • 相关阅读:
    iOS崩溃报告获取一
    GCDTimer
    Runtime
    Socket
    冒泡排序笔记
    学习java虚拟机笔记
    ftp发送文件包括中文名
    java email
    批量数据插入高效 转发
    读取本地硬盘文件,快速扫描插入 数据库
  • 原文地址:https://www.cnblogs.com/AspDotNetMVC/p/2764611.html
Copyright © 2011-2022 走看看