zoukankan      html  css  js  c++  java
  • 交叉熵代价函数(04-1)

    二次代价函数

    C=12nx1,...xny(x)aL(x)2C=12n∑x1,...xn‖y(x)−aL(x)‖2

    其中,C表示代价函数,x表示样本,y表示实际值,a表示输出值,n表示样本的总数;整个的意思就是把n个y-a的平方累加起来,再除以2求一下均值。

    为简单起见,先看下 一个样本 的情况,此时二次代价函数为:C=(ya)22C=(y−a)22

    a=σ(z),z=wjxj+ba=σ(z),z=∑wj∗xj+b  ,其中a就代表激活函数的输出值,这个符号σσ代表sigmoid函数将变量映射到0-1的SS型光滑的曲线,z是上一层神经元信号的总和

    假如我们使用梯度下降发(Gradient descent)来调整权值参数的大小,权值w和权值b的梯度推到如下(求导数):

       Cw=(ay)σ(z)x∂C∂w=(a−y)σ′(z)x    Cb=(ay)σ(z)∂C∂b=(a−y)σ′(z)

    其中,z表示神经元的输入,σσ表示激活函数sigmoid。可以看出,w和b的梯度跟激活函数的梯度成正比,激活函数的梯度越大,w和b的大小调整越快,训练收敛的就越快。

     假设我们激活函数输出的值目标是收敛到1,A点离目标较远,梯度较大,权值调整比较大。B点为0.98离目标比较近,梯度比较小,权值调整比较小,调整方案合理。

     假设我们激活函数输出的值目标是收敛到0,A点离目标较远,梯度较大,权值调整比较大。B点为0.98离目标比较远,梯度比较小,权值调整比较小,调整方案不合理,B点要经过非常长的时间才会收敛到0,而且B点很可能成为不收敛的点。

    交叉墒代价函数(cross-entropy)

    由于上边的问题,我们换一种思路,我们不改变激活函数,而是改变代价函数,改用交叉墒代价函数:

    C=1nx1,,,xn,[ylna+(1y)ln(1a)]C=−1n∑x1,,,xn,[yln⁡a+(1−y)ln⁡(1−a)]

    其中,C表示代价函数,x表示样本,y表示实际值,a表示输出值,n表示样本的总数。

    a=σ(z),z=wjxj+ba=σ(z),z=∑wj∗xj+b σ(z)=σ(z)(1σ(x))σ′(z)=σ(z)(1−σ(x)) sigmod函数的导数比较好求,这也是为什么大家用sigmoid做激活函数的原因,接下来我们看一下求导的过程

    懒得敲了,直接贴个图过来,之后闲了在敲一遍,上边就是求导的推导过程,从最后的式子可以看出:权值w和偏执值b的调整与σ(z)σ′(z)无关,另外,梯度公式中的σ(z)yσ(z)−y表示输出值与实际值放入误差。所以当误差越大时,梯度就越大,参数w和b的调整就越快,训练的速度也就越快。

    总结:当输出神经元是线性的,那么二次代价函数就是一种合适的选择。如果输出神经元是S型函数,那么比较适合交叉墒代价函数。

    对数似然代价函数(log-likelihood cost)

    对数似然函数常用来作为softmax回归的代价函数,如果输出层神经元是sigmoid函数,可以使用交叉墒代价函数。而深度学习中更普遍的做法是将softmax作为最后一层,此时常用的代价函数是对数似然代价函数。

    对数似然代价函数与softmax的组合和交叉墒与sigmoid函数的组合非常相似。对数似然代价函数在二分类时可以化简为交叉墒代价函数的形式。

    在TensorFlow中用:

    tf.nn.sigmoid_cross_entropy_with_logits()来表示跟sigmoid搭配使用的交叉墒。

    tf.nn.softmax_cross_entropy_with_logits()来表示跟softmax搭配使用的交叉墒。

    代码中黄色是对上节代码的优化

    使用交叉熵代价函数,加快模型迭代的速度,有助于模型快速收敛,可以节省训练模型的时间。在适时地时候使用交叉熵作为代价函数,效果会好很多
    loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction))
    # -*- coding: UTF-8 -*-
    
    import tensorflow as tf
    from tensorflow.examples.tutorials.mnist import input_data
     
    #载入数据集
    mnist=input_data.read_data_sets("MNIST_data", one_hot=True)
     
    #每个批次的大小
    batch_size=100
    #计算一共有多少个批次
    n_batch=mnist.train.num_examples // batch_size
     
    #定义两个placeholder
    x=tf.placeholder(tf.float32,[None,784])
    y=tf.placeholder(tf.float32,[None,10])
     
    #创建一个简单的神经网络
    W=tf.Variable(tf.zeros([784,10]))
    b=tf.Variable(tf.zeros([1,10]))
    prediction=tf.nn.softmax(tf.matmul(x,W)+b)
     
    
    #二次代价函数
    #loss = tf.reduce_mean(tf.square(y-prediction))
    #使用交叉熵代价函数,加快模型迭代的速度,有助于模型快速收敛,可以节省训练模型的时间。在适时地时候使用交叉熵作为代价函数,效果会好很多
    loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=prediction))
    #使用梯度下降法优化
    train_step=tf.train.GradientDescentOptimizer(0.2).minimize(loss)
     
    #初始化变量
    init=tf.global_variables_initializer()
     
    #结果放在一个布尔型列表中
    correct_prediction=tf.equal(tf.argmax(y,1), tf.argmax(prediction,1)) #argmax函数返回一维向量中最大值所在的位置
    #求准确率
    accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
     
    with tf.Session() as sess:
        sess.run(init)
        for epoch in range(21):#把所有图片训练21遍
            for batch in range(n_batch):#把所有图片都训练一遍
                batch_xs,batch_ys=mnist.train.next_batch(batch_size)
                sess.run(train_step,feed_dict={x:batch_xs, y:batch_ys})
     
            acc=sess.run(accuracy,feed_dict={x:mnist.test.images, y:mnist.test.labels})
            print("Iter"+str(epoch)+",Testing Accuracy "+str(acc))

    运行结果:

    发现使用了交叉熵代价函数时发现迭代第2次就达到90%,而用的二次代价函数迭代第7次才达到90%(上节用的是二次代价函数)。准确率也提高了1%

  • 相关阅读:
    枚举enum
    C# 位运算符
    运算符&和&&以及|和||区别比较
    LINQ TO JSON
    LINQ 随机排序
    .NET Core LinQ
    CSharp笔记>>>多线程
    3D旋转
    CSharp 之CSkin的使用教程
    CSharp笔记>>>多语言,注册,模态对话框返回值
  • 原文地址:https://www.cnblogs.com/spore/p/12732565.html
Copyright © 2011-2022 走看看