zoukankan      html  css  js  c++  java
  • 读取超过内存大小的文件的解决办法

    问题

    现在考虑有一个jsonline 格式的文件file.txt 大小约为10K,之前处理文件的代码如下所示

    def get_lines():
        l = []
        with open('file.txt', 'rb') as f:
            for eachline in f:
                l.append(eachline)
        return l
    
    
    if __name__ == '__main__':
        for e in get_lines():
            process(e)   # 处理每一行数据
    
    

    现在要处理一个大小为10G 的文件,但是内存只有4G,如果在只修改get_lines 函数而其他代码保持不变的情况下,应该如何实现?需要考虑的问题都有哪些?
    需要考虑的问题: - 文件大小超过内存大小,需要分批读取 - 需要记录每次读取结束位置,以便下次读取
    ## 解决办法 使用yield将get_lines变成一个生成器函数,由于生成器只有在需要的时候才取值,所以不会造成内存占用过高,生成器的另一个特性是能够保存状态,因而可以很好地解决上述两个问题
    def get_lines():
        l = []
        with open('file.txt', 'rb') as f:
            data = f.readlines(10000)
            l.append(data)
        yield l
    
    

    补充:如果不限制只修改get_lines函数,对于大文件,在Linux下我们还可以通过split方法将大文件切割成很多小文件,然后分别读取这些小文件。
  • 相关阅读:
    Python Virtualenv 虚拟环境
    二叉树的左视图和右视图
    Vxlan简介
    2、程序的基本结构
    chef cookbook 实战
    eclipse 搭建ruby环境
    linux 安装软件出现/tmp 磁盘不足时 解决方案
    Python 可变对象与不可变对象
    Chapter 4-5
    Chapter 3
  • 原文地址:https://www.cnblogs.com/zzliu/p/10651297.html
Copyright © 2011-2022 走看看