zoukankan      html  css  js  c++  java
  • python读取mnist

    其实就是python怎么读取binnary file

    mnist的结构如下,选取train-images

    TRAINING SET IMAGE FILE (train-images-idx3-ubyte):

    [offset] [type]          [value]          [description] 
    0000     32 bit integer  0x00000803(2051) magic number 
    0004     32 bit integer  60000            number of images 
    0008     32 bit integer  28               number of rows 
    0012     32 bit integer  28               number of columns 
    0016     unsigned byte   ??               pixel 
    0017     unsigned byte   ??               pixel 
    ........ 
    xxxx     unsigned byte   ??               pixel

    也就是之前我们要读取4个 32 bit integer

    试过很多方法,觉得最方便的,至少对我来说还是使用

    struct.unpack_from()

    filename = 'train-images.idx3-ubyte'
    binfile = open(filename , 'rb')
    buf = binfile.read()
    

     先使用二进制方式把文件都读进来

    index = 0
    magic, numImages , numRows , numColumns = struct.unpack_from('>IIII' , buf , index)
    index += struct.calcsize('>IIII')
    

     然后使用struc.unpack_from

    '>IIII'是说使用大端法读取4个unsinged int32

    然后读取一个图片测试是否读取成功

    im = struct.unpack_from('>784B' ,buf, index)
    index += struct.calcsize('>784B')
    
    im = np.array(im)
    im = im.reshape(28,28)
    
    fig = plt.figure()
    plotwindow = fig.add_subplot(111)
    plt.imshow(im , cmap='gray')
    plt.show()
    

     '>784B'的意思就是用大端法读取784个unsigned byte

    完整代码如下

    import numpy as np
    import struct
    import matplotlib.pyplot as plt
    
    filename = 'train-images.idx3-ubyte'
    binfile = open(filename , 'rb')
    buf = binfile.read()
    
    index = 0
    magic, numImages , numRows , numColumns = struct.unpack_from('>IIII' , buf , index)
    index += struct.calcsize('>IIII')
    
    im = struct.unpack_from('>784B' ,buf, index)
    index += struct.calcsize('>784B')
    
    im = np.array(im)
    im = im.reshape(28,28)
    
    fig = plt.figure()
    plotwindow = fig.add_subplot(111)
    plt.imshow(im , cmap='gray')
    plt.show()
    

     只是为了测试是否成功所以只读了一张图片

    赶脚应该是读对了哈。。。

    by 1957
  • 相关阅读:
    网络对抗技术 20181216 Exp6 MSF基础应用
    实验一-密码引擎-加密API研究
    网络对抗技术 20181216 Exp5 信息搜集与漏洞扫描
    网络对抗技术 20181216 Exp4 恶意代码分析原理与实践说明
    网络对抗技术 20181216 Exp3 免杀原理与实践
    用Visual Studio 2019 创建C#窗体项目
    EL表达式的学习
    session学习
    mysql+javaWeb+jdbc+tomcat开发中的中文乱码处理
    java集合
  • 原文地址:https://www.cnblogs.com/x1957/p/2531503.html
Copyright © 2011-2022 走看看