Python之读取大型文本文件

之前接触的数据，无论是csv还是txt格式，都比较小，最大也就几百兆。在读取过程中不会遇到内存崩溃的现象。

最近，项目中接收到的数据竟然比电脑内存还要大 ，读取过程中经常遇到memoryError错误，于是开始研究了关于大文件读取；于此参考了以下博客：

https://blog.csdn.net/u011847043/article/details/81069105

---

谈到“文本处理”时，我们通常是指处理的内容。

Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法： .read()、.readline() 和 .readlines()。。

read() 一次性读取读取整个文件，将文件存储在一个字符串变量中。当文件接近或者大于内存时会产生memoryError的错误。

readline() 和 readlines() 之间的差异是后者一次读取整个文件，同 read()。

readlines() 自动将文件内容分析成一个行的列表，该列表可以由 Python 的 for ... in ... 结构进行处理。

另一方面，.readline() 每次只读取一行，通常比 readlines() 慢得多。仅当没有足够内存可以一次读取整个文件时，应该使用 .readline()。

with open('filepath', 'r', encoding = 'utf-8') as f:
　　while True:
　　　　line = f.readline() # 逐行读取
　　　　if not line: # 到 EOF，返回空字符串，则终止循环
　　　　　　break
　　　　Operate(line) #对每行数据进行处理

分块读取（实用靠谱）

将文档按块进行读取

def read_in_chunks(filePath, chunk_size=1024*1024):
　　file_object = open(filePath,'r',encoding='utf-8')
　　while True:
　　　　chunk_data = file_object.read(chunk_size)
　　　　if not chunk_data:
　　　　　　break
　　　　yield chunk_data
if __name__ == "__main__":
　　filePath = "C:/Users/Public/Documents/data/user_data.csv"
　　for chunk in read_in_chunks(filePath):
　　　　print(chunk)