zoukankan      html  css  js  c++  java
  • 大数据量处理模式

    【数据库】
    建视图、建索引来优化查询
    用分页查询的存储过程
    游标。。。
    异步?
     


    【Ajax大数据量处理(分页思维)】思路如下:

      将大数据量数据进行分割返回,例如需要返回100条数据,我们可以通过10次请求来进行返回数据。每次返回数据的时候其中包括数量的总行数、返回当前数据的位置、此次返回数据的数量。

    例如:{TotalRowsCount:100,CurrentRowsIndex:60,CurrentRowsCount:10}。

    代表总行数:100,当前行数已经返回到:60,此次返回数量10。


    【程序代码】


    【算法方案】

    A.分布式处理 mapreduce

    适用范围:数据量大,但是数据种类小可以放入内存
     
    基本原理及要点:将数据交给不同的机器去处理,数据划分,结果归约。



    【总结】时间与空间的转换
    0.算法        [100%]  (树 哈希)
    1.预加载      [空间]  (缓存,堆)
    2.预排列      [时间]  (索引)
    3.分割=>归并  [t=T/N] (DB分页,Ajax分批,发布式,多线程,逻辑分类:多数据文件)


    【成本开销】找瓶颈
    1.IO资源
    2.网路资源
    3.算法冗余

  • 相关阅读:
    登陆的一个大概流程
    过滤器实现编码过滤处理
    注册的一个大概流程
    lstm clip
    gemm c++
    lstm的debug模式下编译不行貌似
    caffe编译关于imread问题的解决
    c++ 走向高级之日积月累
    c++ 线程
    InitGoogleLogging坑爹
  • 原文地址:https://www.cnblogs.com/AspDotNetMVC/p/2764611.html
Copyright © 2011-2022 走看看