zoukankan      html  css  js  c++  java
  • a brief introduction of deep learning

     three steps for deep learning

    • Step1:神经网络(Neural network)
    • Step2:模型评估(Goodness of function)
    • Step3:选择最优函数(Pick best function)

      neural network

    手动连接神经元

     如: 1*1+(-1)*(-2)+1=4   1/(1+e^(-4))=0.98

    不同的参数,就是一个function

    不同模型的层数

     矩阵运算表示网络结构

    最后一组x是由输入x经过复杂运算抽出的feature

    本质:通过隐藏层进行特征转换

    一个手写数字识别的例子

     

    你可能要问的问题

     

    接下来有几个问题:
    多少层? 每层有多少神经元? 
    我们需要用尝试加上直觉的方法来进行调试。对于有些机器学习相关的问题,我们一般用特征工程来提取特征,但是对于深度学习,
    我们只需要设计神经网络模型来进行就可以了。对于语音识别和影像识别,深度学习是个好的方法,因为特征工程提取特征并不容易。 结构可以自动确定吗?
    有很多设计方法可以让机器自动找到神经网络的结构的,比如进化人工神经网络(Evolutionary Artificial Neural Networks)但是这些方法并不是很普及 。 我们可以设计网络结构吗?
    可以的,比如 CNN卷积神经网络(Convolutional Neural Network )

    对于模型的评估,我们一般采用损失函数来反应模型的好差,所以对于神经网络来说,我们采用交叉熵(cross entropy)函数来对yy^​的损失进行计算,

    接下来我们就是调整参数,让交叉熵越小越好。

     对于所有训练数据的loss

    利用梯度下降来最小化total loss

     方向传播进行梯度下降

     越深越好?

     普遍性定理

  • 相关阅读:
    springboot 整合 memcached l
    文件处理工具类 l
    执行脚本工具类 l
    LRU l
    归并排序 l
    Redis 数据类型 l
    git 常用操作命令 唏嘘
    postmanPOST请求 status 415错误 唏嘘
    MySQL 启动和关闭MySQL服务 唏嘘
    OO和OP
  • 原文地址:https://www.cnblogs.com/tingtin/p/12332725.html
Copyright © 2011-2022 走看看