tensorflow2.0第4章 Tensorflow dataset使用

介绍Tensorflow dataset空间下API的使用，dataset API主要用于读取数据。本届课程通过在房价预测问题上的实战详细的介绍如何使用tf.dataset读取csv文件和tfrecord文件。

tf.data在tensorflow中是用于处理数据的,主要用来读取数据,并在一些数据中做一些预处理,然后把数据塞给训练程序去进行训练.

实战内容:

Dataset基础API使用.

Dataset读取csv文件.

Dataset读取tfrecord文件.

API列表:

Dataset基础使用(tf.data.Dataset.from_tensor_slices; repeat,batch,interleave,map,shuffle,list_files);

csv(tf.data.TextLineDataset,tf.io.decode_csv);

Tfrecord(tf.train.FloatLlist,tf.train.Int64,tf.trian.BytesList; tf.train.Feature,tf.train.Features,tf.train.Example; example.SerializeToString; tf.io.ParseSingExample; tf.io.VarLenFeature,tf.io.FixedLenFeature; tf.data.TFRecordDataset,tf.io.TFRecordOptions)

data_API引入

tf_data基础API使用

生成csv文件

tf.io.decode_csv使用

tf.data读取csv文件并与tf.keras结合使用

tfrecord基础API使用

生成tfrecords文件

tf.data读取tfrecord文件并与tf.keras结合使用

总结:

Dataset基础API使用:

如何从内存中的数据中构建dataset, 然后讲解了很多API的使用方法,包括Repeat,batch,shuffle,map,interleave,take等等

Dataset读取csv文件:

主要讲解了如何使用dataset中的API去解析csv的列

Dataset读取tfrecord文件:

重点讲解了tf.train.examplle的序列化和解析