0. 四则运算
- 平方：tf.square()，开方：tf.sqrt()
- tf.add()、tf.sub()、tf.mul()、tf.div()、tf.mod()、tf.abs()、tf.neg()
1. 简单数理统计
Rn→R （从矢量到标量），意味着一种约简（reduce）。
- 均值：tf.reduce_mean，求和：tf.reduce_sum
- stddev = tf.sqrt(tf.reduce_mean(tf.square(var - mean)))
- 最大最小（极值）：tf.reduce_max/tf.reduce_min
2. 初始化子（initializer）
- tf.zeros_initializer()
- tf.ones_initializer()
- tf.constant_initializer()
- tf.constant_initializer(0.) ⇒ float
- tf.constant_initializer(0, dtype=tf.int64)
- tf.random_normal_initializer()
与 tf.global_variable_initializer() 所不同的是，以上这些返回的是对象（<tensorflow.python.ops.init_ops.Constant/RandomNormal/Ones/Zeros at 0xXXX>），而 tf.global_variable_initializer() 返回的则是一种 tf.Operation（<tf.Operation 'init_N' type=NoOp>），
3. 矩阵矢量运算
- tf.diag、tf.transpose、tf.matmul、
- tf.matrix_determinant（方阵行列式）、tf.matrix_inverse（方阵求逆）
4. tf.nn
softmax + cross entropy：
tf.nn.softmax_cross_entropy_with_logits(logits, labels) ⇒ tf.reduce_mean()