zoukankan      html  css  js  c++  java
  • 分块读取大文件方法

    1 以下两种方法类似,第一种更简洁

    两种方法的input类型完全相同,当最后一次不够7行时,两种方法都会取出来

    import pandas as pd
    
    input = pd.read_csv('input.csv', chunksize= 7)
    for i in input:       # i是一个有7行的块
        chunk = function(i)
        chunk.to_csv('output.csv', mode='a', header=False)
        del chunk
    
    input = pd.read_csv('input.csv', iterator=True)
    loop = True
    print('Ready Go!!!')
    while loop:
        try:
            chunk = input.get_chunk(7)
            chunk.to_csv('output', mode='a', header=None)
            del chunk
        except StopIteration:
            loop = False
            print('Game Over!!!')

    2 利用get_chunck()函数

    loop为真时,get_chunck()函数会一直从文件中取数据,直到最后一次try不能执行了,执行except,loop置为假。

    app_usage = pd.read_csv('D:\HUAWEIcompetition\data\user_app_usage.csv', iterator=True)
    
    pieceID=0
    loop=True
    while loop:
        try:
            dfi = app_usage.get_chunk(10000000)
            dfi.columns=['uid','appid','total_usagetime','open_numbers','use_date']
            dfi.to_csv('D:\HUAWEIcompetition\data\user_app_usage\user_app_usage_{}.csv'.format(pieceID),index=False)
            pieceID += 1
            del dfi
        except StopIteration:
            loop=False
            print('imps_log process finish!')
  • 相关阅读:
    PHP迭代器
    PDO

    五种常见的 PHP 设计模式
    php fastcgi_finish_request 函数的理解
    vagrant up 启动虚拟机报错
    thrift php 的使用
    python 基本知识学习(一)
    PHP实现进程间通信:消息队列 msg_get_queue 函数不存在
    [转]Python函数的各种参数用法(含星号参数)
  • 原文地址:https://www.cnblogs.com/xxswkl/p/10922403.html
Copyright © 2011-2022 走看看