zoukankan      html  css  js  c++  java
  • 强悍的Python读取大文件的解决方案

    这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适合读取大文件。

    1. read() 接口的问题

    f =open(filename, 'rb')

    f.read()

    我们来读取 1 个 nginx 的日至文件,规模为 3Gb 大小。read() 方法执行的操作,是一次性全部读入内存,显然会造成:

    MemoryError

    ...

    也即会发生内存溢出。

    2. 解决方案:转换接口

    (1)readlines() :读取全部的行,构成一个 list,实践表明还是会造成内存的问题;

    forline inf.reanlines():

      ...

    (2)readline():每次读取一行,

     
     

    (3)read(1024):重载,指定每次读取的长度

     
     

    3. 真正 Pythonic 的方法

    真正 Pythonci 的方法,使用 with 结构:

     
     

    对可迭代对象 f,进行迭代遍历:for line in f,会自动地使用缓冲IO(buffered IO)以及内存管理,而不必担心任何大文件的问题。

    There should be one – and preferably only one – obvious way to do it.



    作者:Python很简单
    链接:https://www.jianshu.com/p/560ff3adfee3

  • 相关阅读:
    JS 提交表单
    [ZJOI 2010]base 基站选址
    [ZJOI 2013]丽洁体
    [Codeforces 176B]Word Cut
    [SDOI 2013]方程
    [AtCoder agc021D]Reversed LCS
    [BZOJ 4361]isn
    [SDOI 2011]黑白棋
    [ZJOI 2010]Perm 排列计数
    [Codeforces 297E]Mystic Carvings
  • 原文地址:https://www.cnblogs.com/cheyunhua/p/10998004.html
Copyright © 2011-2022 走看看