zoukankan      html  css  js  c++  java
  • 归一化和批归一化

    归一化和批归一化

    归一化

    归一化: 使数据映射成均值为0,方差为1 的正态分布

    类型

    • min-max归一化: x' = (x -min) / (max - min)
    • z-score归一化: x' = (x - μ) / σ μ是均值 σ是方差
    • mean归一化: x' = (x -μ) / (max - min)

    跟标准化有什么关系

    小朋友是不是很有很多问号? 标准化,归一化傻傻分不清楚。
    很多博客,将上面这些数据的映射起来各种名字,搞得大家晕头转向。
    这些不就是对数据做预处理嘛,搞这么复杂,分这么多名字干什么

    有的人把standardization 翻译成标准化,实际上他就是z-score归一化
    很多人嘴里说的 normalization 就是 min-max归一化。

    都说归一化它不好记么,搞事情。 对初学者一点都不友好。

    批归一化

    批归一化: 根据归一化的思想,在网络中任意一层的输出上进行归一化处理,从而提高网络的效果。

    作用

    批归一化可以缓解梯度消失。
    因为批归一化可以使每一层的输出变得更加规整,从而使导数的计算更加准确。

    为什么有效

    首先,这两个方法都是要对数据做映射。
    数据对于模型的意义就像是奶粉之于婴儿,规整的数据能使模型收敛的更快,效果更好
    WeChat Screenshot_20200616112142

    如上图,每条线上的目标函数值是一样的。

  • 相关阅读:
    几个常用ORACLE运维监控的SQL语句
    Oracle 字符集的查看和修改
    建立表空间、用户、导出导入
    android get post提交与获取数据
    javaweb 路径问题
    java web分页
    用java调用oracle存储过程总结(转别人的。。。)
    java web乱码问题原因及解决方法
    servlet笔记
    C#中App目录
  • 原文地址:https://www.cnblogs.com/sight-tech/p/13155615.html
Copyright © 2011-2022 走看看