tensorflow-- Dataset创建数据集对象

tf.data模块包含：

•  experimental 模块
•  Dataset 类
•  FixedLengthRecordDataset 类
• TFRecordDataset 类
• TextLineDataset 类

#  author by FH.
#  OverView:
#  tf.data
#           experimental  ---Modules
#           Dataset      ---class
#           FixedLengthRecordDataset  ---class
#           TFRecordDataset           ---class
#           TextLineDataset           ---class
import tensorflow as tf
import numpy as np


# 1. 使用静态方法 tf.data.Dataset.from_tensor_slices
#       将输入的第一个维度切割，形成dataset
# 2. 使用 Dataset的 make_one_shot_iterator() 实例化一个 iterator
#       这个iterator 只能从头到尾读取一次。“one shot iterator”
def test1():
    sess = tf.Session()
    dataset1 = tf.data.Dataset.from_tensor_slices(np.array([1.0,2.0,3.0,4.0,5.0]))
    dataset2 = tf.data.Dataset.from_tensor_slices(np.array([[1,2],[3,4],[0,9]]))
    dataset3 = tf.data.Dataset.from_tensor_slices(
        {
            "a":np.array([1.0,2,3,4,5.0]),
            "b":np.random.uniform(size=(5,2))
        }
    )
    # 使用 Dataset的 make_one_shot_iterator() 实例化一个 iterator
    #     这个iterator 只能从头到尾读取一次。“one shot iterator”
    oneShotIterator1 = dataset1.make_one_shot_iterator()
    oneShotIterator2 = dataset2.make_one_shot_iterator()
    oneShotIterator3 = dataset3.make_one_shot_iterator()
    element1 = oneShotIterator1.get_next()
    element2 = oneShotIterator2.get_next()
    element3 = oneShotIterator3.get_next()
    for i in range(5):
        print(sess.run(element1))
    for i in range(3):
        print(sess.run(element2))
    for i in range(5):
        print(sess.run(element3))
    sess.close()

# 1.Dataset 中的数据元素转换。
#           map() :参数为一个函数，将dataset中的每个元素带入获取新的值
#           batch(): 参数为一个整数，将多个元素组合成一个batch
def test2():
    sess = tf.Session()
    dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0,6]))
    # map() 重新映射新的元素值
    dataset1 = dataset.map(lambda x: x * 3)
    # batch()  2个组成一个batch, 组成batch 之后size 为3
    dataset2 = dataset.batch(2)
    # shuffle() 打乱dataset
    dataset3 = dataset.shuffle(buffer_size=3)
    # repeat()  将整个序列重复多次，重复4次 size 为24
    dataset4 = dataset.repeat(4)

    oneShotIterator1 = dataset1.make_one_shot_iterator()
    oneShotIterator2 = dataset2.make_one_shot_iterator()
    oneShotIterator3 = dataset3.make_one_shot_iterator()
    oneShotIterator4 = dataset4.make_one_shot_iterator()
    element1 = oneShotIterator1.get_next()
    element2 = oneShotIterator2.get_next()
    element3 = oneShotIterator3.get_next()
    element4 = oneShotIterator4.get_next()
    for i in range(6):  # map()
        print(sess.run(element1))
    for i in range(3):  # batch()
        print(sess.run(element2))
    for i in range(6):  # shuffle()
        print(sess.run(element3))
    for i in range(24): # repeat()
        print(sess.run(element4))
    sess.close()

# example1: 读取图片和相应的标签并打乱，组成
#          batch_size=2 的数据集，重复10 epoch
def _parse_function(imgfilename,label):
    image_value = tf.read_file(imgfilename)
    img = tf.image.decode_image(image_value)
    img = tf.image.resize_images(img,[256,256])
    return img,label
def example1():
    # 图片列表
    filesnames = tf.constant(['name1.jpg','name3.jpg','name5.jpg','name6.jpg','name7.jpg','name8.jpg'])
    # 对应标签
    labels = tf.constant([0,1,0,1,1,0])
    # dataset  (名称，标签)
    dataset = tf.data.Dataset.from_tensor_slices((filesnames,labels))
    # map 映射成图片和标签
    dataset = dataset.map(_parse_function)
    # shuffle ,batch , repeat
    dataset = dataset.shuffle(buffersize=3).batch(2).repeat(10)
    return dataset

if __name__ == '__main__':
    test2()