zoukankan      html  css  js  c++  java
  • 模型压缩(神经网络近似)

    主要分三个手段:

    1. 低秩近似:image2col可以转成矩阵,训练得到权重矩阵,对权重矩阵先SVD分解(特点:对角线上特征值越来越小),将后面较小的几位去掉。(SVD近似,KPSVD近似)。张量分解:比较work的代表,cp分解(应用:xception)
    2. 稀疏近似(将大部分都变成0):拿出权重看一下分布情况,发现权重数值大部分是以0为均值的高斯分布(但是不是0)。掩膜将一小比例部分权重数值强制为0不再更新。一般能压缩到原来一半,但是cpu依然不够跑
    3. 量化quantization:   effective quantization methods for recurrent neural networks   2016
    • 神经网络参数的量化:模型权重直接变小
    • 激活也量化:推断变块
    • 梯度也给量化:反向传播加速,减少training时间
  • 相关阅读:
    最近这段时间
    一元多项式的
    珍藏
    运行命令大全
    Google
    Windows Live Writer插件
    Word写论文的技
    安装Windows Live Writer后Ƃ
    比尔盖茨给人
    不经意的感悟
  • 原文地址:https://www.cnblogs.com/Henry-ZHAO/p/12725154.html
Copyright © 2011-2022 走看看