使用TensorFlow高级别的API进行编程

  这里涉及到的高级别API主要是使用Estimator类来编写机器学习的程序，此外你还需要用到一些数据导入的知识。

为什么使用Estimator

  Estimator类是定义在tf.estimator.Estimator中的，你可以使用其中已经有的Estimator，叫做预创建的Estimator，也可以自定义Estimator。Estimator已经封装了训练(train)，评估(evaluate)，预测(predict)，导出以供使用等方法。

  此外，Estimator会为我们提供诸如图构建、创建session等管道工作，不用我们再做这些重复的工作。它还提供了安全的分布式训练循环。相比于低级的API，我们可以把大部分的时间和精力放在处理数据、训练模型、调整参数上面，而不是创建张量、构建图、使用session运行张量上面。

使用Estimator的步骤

1：需要编写一个数据输入的函数input_fn

  input_fn是输入函数，这个函数的作用在于对数据进行预处理，并且在模型train，predict，evaluate的时候给模型送进去数据。所以input_fn主要作用的时机在模型训练、预测和评估的时候，在模型定义的时候不需要传入输入函数，而是传入一个预定义的特征列。可以使用系统自带的函数，可以编写自定义的输入函数。

使用系统自带的数据输入函数：

  系统自带的输入函数为tf.estimator.inputs.numpy_input_fn，它的输入参数如下：

def numpy_input_fn(x,
                   y=None,
                   batch_size=128,
                   num_epochs=1,
                   shuffle=None,
                   queue_capacity=1000,
                   num_threads=1)

  x为numpy数组或者numpy数组的字典，当为numpy数组的时候，这个数组被当做单一的特征对待。

  一个例子如下，这个例子是tf.estimator Quickstart tutorial中的一段代码：

import numpy as np

training_set = tf.contrib.learn.datasets.base.load_csv_with_header(
    filename=IRIS_TRAINING, target_dtype=np.int, features_dtype=np.float32)

train_input_fn = tf.estimator.inputs.numpy_input_fn(
    x={"x": np.array(training_set.data)},
    y=np.array(training_set.target),
    num_epochs=None,
    shuffle=True)

classifier.train(input_fn=train_input_fn, steps=2000)

自定义导入数据的函数:

  要自定义导入函数，要知道tensorflow中关于数据的概念，以及知道自定义的函数应该返回的值，下面我将梳理一下这里面的概念：

自定义函数的基本框架以及返回值

def my_input_fn():

    # 在这里进行数据的预处理...

    # ...返回两个值 1) 一个由特征列和包含特征的Tensors组成的映射（字典） 2) 一个包含labels的Tensor
    return feature_cols, labels

  自定义函数需要返回两个值，一个值是feature_cols，是一个字典，其中字典的key为特征的列名称，字典的value为包含特征值的Tensor对象。labels是一个包含标签值的Tensor对象。

tf.data.API对于数据的两个抽象：

  使用tf.data.API来构建数据输入的管道，帮助我们导入数据，无论是图像，文本还是分布式的数据，都可以用它来完成。

  一个抽象的概念是tf.data.Dataset，一个Dataset是一个数据集，它是由一系列的元素组成的，每个元素的类型都是相同的。其中每个元素包含一个或者多个Tensor对象。我们可以以两种方式来创建Dataset对象，一种方式是创建它的来源，比如使用Dataset.from_tensor_slices()，可以使用张量来创建Dataset对象，另外一种方式是运用转换的方式，可以将一个Dataset来变成另外一个Dataset，比如Dataset.batch()。

  另外一个抽象的概念是tf.data.Iterator,它代表的是迭代器。表示的是如何从数据集里面取出元素，最简答的迭代器是单次迭代器，Dataset.make_one_shot_iterator()可以创建单次迭代器。创建迭代器以后，可以使用Iterator.get_next()来获取下一个元素。

其它的创建数据集的方法：

  Dataset.from_tensor()创建一个Dataset，并将传入的Tensor当做一个元素。 Dataset.from_tensor_slices()会创建一个Dataset，并且将传入的Tensor在第0维上面切面，分成一些列的元素。还可以使用TFRecordDataset来获得磁盘上面TFRecord格式的数据。

其它的创建迭代器的方法：

  除了dataset.make_one_shot_iterator()这种单次迭代器以外，你还可以创建可初始化、可重新初始化、可馈送迭代器。

导入数据集的基本的工作机制：

1：创建Dataset对象 –> 2：将Dataset进行转化 –> 3：创建迭代器 –> 4:用迭代器返回下一个元素。

  下面用一个例子来说明一下：

from tensorflow.python.data import Dataset
import numpy as np
def my_input_fn(features, targets, batch_size=1, shuffle=True, num_epochs=None):
    """自定义的输入函数

    Args:
      features: 使用pandas中的DataFrame对象来表示的features
      targets: 使用pandas的taFrame对象表示的targets
      batch_size: 批次的大小
      shuffle: 是否将数据进行重新打乱
      num_epochs: 需要重复的epochs的数量，一个epochs代表一个训练周期. None = repeat indefinitely
    Returns:
      下一批次数据的元组 (features, labels)
    """

    # 将pandas对象转换为字典，其中字典的值为numpy的数组
    features = {key:np.array(value) for key,value in dict(features).items()}

    # 创建一个Dataset，并且设置好批次和重复的次数
    ds = Dataset.from_tensor_slices((features,targets)) # warning: 2GB limit
    ds = ds.batch(batch_size).repeat(num_epochs)

    # 是否进行数据扰动
    if shuffle:
        ds = ds.shuffle(10000)

    # 返回下个批次的数据
    features, labels = ds.make_one_shot_iterator().get_next()
    return features, labels

  上面自定义了数据导入的函数，使用Dataset.from_tensor_slices()来创建Dataset。然后使用batch、repeat、shuffle进行转换。 接着创建迭代器，并且获得下一个元素。

 

2：定义特征列

  使用tf.feature_column来标识特征名称、类型和任何输入预处理。

  特征列在原始数据和模型之间起到了连接的作用。在编写模型的时候需要预先确定输入数据的特征列。

  比如包含经度和维度两个特征的特征列，它们都是数值类型，这个特征列在模型定义的时候需要传入：

import tensorflow as tf
longitude = tf.feature_column.numeric_column('longitude')
latitude = tf.feature_column.numeric_column('latitude')
feature_column = [longitude, latitude]

特征列在原始数据与模型所需的数据之间架起了桥梁。

3：实例化相关的预创建的Estimator

  这个步骤就简单了，以深度学习模型为例，运用上面创建的经纬度特征列，使用10*10的隐层创建一个深度神经网络的回归模型：

hidden_units = [10, 10]
dnn_regressor = tf.estimator.DNNRegressor(
    feature_columns=feature_columns,
    hidden_units=hidden_units,
)

4：调用训练、评估或推理方法

  使用上述创建的模型进行train、evaluate、predict操作。首先需要定理训练的输入函数，将训练集的特征和标签都传进去，然后开始训练，例子如下：

training_input_fn = lambda:my_input_fn(train_df, train_target_df)
dnn_regressor.train(
    input_fn=training_input_fn,
    steps=300
)

参考:

Estimator 高级的API，介绍了创建estimator的流程

导入数据  介绍了数据集，还有迭代器的知识

Building Input Functions with tf.estimator  讲解了如何定义输入函数

特征列  详细介绍了特征列，里面有9中特征列可以学习

google机器学习速成课程的神经网络简介 ,完整的机器学习过程