- tf 下以大写字母开头的含义为名词的一般表示一个类（class）
1. 优化器（optimizer）
优化器的基类（Optimizer base class）主要实现了两个接口，一是计算损失函数的梯度，二是将梯度作用于变量。tf.train 主要提供了如下的优化函数：
- tf.train.Optimizer
- tf.train.GradientDescentOptimizer
- tf.train.AdadeltaOpzimizer
- Ada delta
- tf.train.AdagradDAOptimizer
- tf.train.MomentumOptimizer
- tf.train.AdamOptimizer
- tf.train.FtrlOptimizer
- tf.train.ProximalGradientDescentOptimizer
- tf.train.ProximalAdagradOptimizer
- tf.train.RMSPropOptimizer
2. 梯度计算
TensorFlow 同时也提供了给定 TensorFlow 计算图（computation graph）的导数。上节提到的优化器类（optimizer classes）会自动计算 computation graph 的导数，但用户自定义优化器时，可以使用如下低级别的函数：
- tf.gradients
- tf.AggregationMethod
- tf.stop_gradient
- tf.hessians
2. 学习率衰减（decaying the learning rate）
tf.train.exponential_decay
# 实现的是如下的操作 decayed_lr = lr * decay_rate ^ (global_step/decay_steps)在其 tf 下的使用为：lr = tf.train.exponential_decay(0.1, global_step, 100, .96, staircase=True)tf.train.inverse_time_decay
- tf.train.natural_exp_decay
- tf.train.piecewise_constant
- tf.train.polynomial_decay