zoukankan      html  css  js  c++  java
  • 海量的数据的处理

    1、若有1T的数据,需要实现由大到小的排列,你用什么办法,说说你的思路和想法?

    解题思路:1、内存大小,比如256M

         2、每一条数据的大小1K

          这样的话1T有的数据条数大约为230

          内存中可以存放的数据条数为218

          把这些数据分成份数必须大于212=4096

         根据某一种hash算法把数据写到n个文件中

        

        对每一个文件的数据读到内存中进行单独排序(内部排序+空间复杂度+时间复杂度)

        排好序以后就可以把数据写回外存

        最后就可以用多路归并排序了,当然这样子只是说Hash分类的key之间并没有表明顺序范围的概念,如果有顺序范围的概念就可以读完一个文件等处理完后再读另一个文件。

                  

    2、有10个G的数据,如果两条数据一样,则表示该两条数据重复了,现在给你512的内存,把这10G中重复次数最高的10条数据取出来。

  • 相关阅读:
    css控制textarea固定大小不可拖动
    js绑定回车事件
    这一周的收获与总结_BP
    20140824
    【转】Hadooop学习笔记
    【转】CUDA优化小记录
    【转】CUDA程序优化要点
    cublas 矩阵相乘API详解
    CUDA 矩阵相乘完整代码
    CUDA 矩阵相乘
  • 原文地址:https://www.cnblogs.com/erdanyang/p/11137829.html
Copyright © 2011-2022 走看看