tf.train 提供了一组帮助训练模型的类和函数。
优化器
优化器基类提供了计算渐变的方法，并将渐变应用于变量。子类的集合实现了经典的优化算法，如 GradientDescent和Adagrad。
您永远不会实例化优化器类本身，而是实例化其中一个子类。
- tf.train.Optimizer
- tf.train.GradientDescentOptimizer
- tf.train.AdadeltaOptimizer
- tf.train.AdagradOptimizer
- tf.train.AdagradDAOptimizer
- tf.train.MomentumOptimizer
- tf.train.AdamOptimizer
- tf.train.FtrlOptimizer
- tf.train.ProximalGradientDescentOptimizer
- tf.train.ProximalAdagradOptimizer
- tf.train.RMSPropOptimizer
梯度计算
TensorFlow 提供了计算给定 TensorFlow 计算图的导数的函数，并将运算添加到图中。优化器类自动在您的关系图上计算派生，但是新的优化或专家用户的创建者可以调用下面的低级函数。
- tf.gradients
- tf.AggregationMethod
- tf.stop_gradient
- tf.hessians
梯度剪辑
TensorFlow 提供了几种操作，您可以使用它们为您的图形添加剪切功能。您可以使用这些功能执行一般的数据剪辑，但它们对于处理已推翻或消失的渐变特别有用。
- tf.clip_by_value
- tf.clip_by_norm
- tf.clip_by_average_norm
- tf.clip_by_global_norm
- tf.global_norm
降低学习率
- tf.train.exponential_decay
- tf.train.inverse_time_decay
- tf.train.natural_exp_decay
- tf.train.piecewise_constant
- tf.train.polynomial_decay
移动平均线
一些训练算法，例如 GradientDescent 和动量，通常会在优化过程中保持变量的移动平均值而受益。使用移动平均值进行评估通常会显著改善结果。
- tf.train.ExponentialMovingAverage
协调员和 QueueRunner
有关如何使用线程和队列的操作，请参见线程和队列。有关队列 API 的文档，请参见队列。
- tf.train.Coordinator
- tf.train.QueueRunner
- tf.train.LooperThread
- tf.train.add_queue_runner
- tf.train.start_queue_runners
分布式执行
分布式执行
有关如何配置分布式 TensorFlow 程序的详细信息，请参阅分布式 TensorFlow。
- tf.train.Server
- tf.train.Supervisor
- tf.train.SessionManager
- tf.train.ClusterSpec
- tf.train.replica_device_setter
- tf.train.MonitoredTrainingSession
- tf.train.MonitoredSession
- tf.train.SingularMonitoredSession
- tf.train.Scaffold
- tf.train.SessionCreator
- tf.train.ChiefSessionCreator
- tf.train.WorkerSessionCreator
从事件文件中读取摘要
有关摘要、事件文件和 TensorBoard 中的可视化的概述，请参见摘要和 TensorBoard。
- tf.train.summary_iterator
Training Hooks
Hooks 是在模型的训练/评估过程中运行的工具：
- tf.train.SessionRunHook
- tf.train.SessionRunArgs
- tf.train.SessionRunContext
- tf.train.SessionRunValues
- tf.train.LoggingTensorHook
- tf.train.StopAtStepHook
- tf.train.CheckpointSaverHook
- tf.train.NewCheckpointReader
- tf.train.StepCounterHook
- tf.train.NanLossDuringTrainingError
- tf.train.NanTensorHook
- tf.train.SummarySaverHook
- tf.train.GlobalStepWaiterHook
- tf.train.FinalOpsHook
- tf.train.FeedFnHook
Training 工具
- tf.train.global_step
- tf.train.basic_train_loop
- tf.train.get_global_step
- tf.train.assert_global_step
- tf.train.write_graph