对于分类问题，我们一般用交叉熵来测算计算值与真实的差距。
交叉熵表现的是两个概率分布之间的差距。差距越大，交叉熵越大；差距越小，交叉熵越小。
这么说还是有点抽象。打个比方：
一个分类问题，正确答案是(1,0,0)。
一个预测模型经过softmax回归后给出的答案是
(0.5,0.4,0.4)
那么与真实值的交叉熵为：
H((1,0,0),(0.5,0.4,0.5))=-(1*log0.5+0*log0.4+0*log0.4)~0.3
另一个预测模型给出的答案是：
(0.8.0.1,0.1)
那么与真实值的交叉熵为：
H((1,0,0),(0.8,0.1,0.1))=-(1*log0.8+0*log0.1+0*log0.1)~0.1
我们可以直观的看出，第二个解比第一个解更接近真实值，而交叉熵也给出相应的答案。
TensorFlow中计算交叉熵的代码为：
cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0)))
通常，交叉熵与softmax回归一起使用，TensorFlow对这两个功能进行了统一的封装:
cross_entropy = tf.nn.softmax_cross_etnropy_withlogits(y,y_)
在只有一个正确答案的分类中TensorFlow提供了更加一个函数：
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))
对于回归问题，我们要做一个预测值，最后的结果要输出一个任意实数，整个神经网络只有一个输出点。
这种情况，我么计算损失函数是均方差。也就是真实值与预测值的方差平均数。代码如下：
mse = tf.reduce_mean(tf.square(y_- y))