zoukankan      html  css  js  c++  java
  • 调研--模型压缩

    需求

    占内存太大:但是没有想明白哪里占?参数?

    那就计算一下参数:每个特征哈希出多少个结果

    常见方法

      • Pruning(修剪): 因为神经网络很多权重几乎为0,这类参数作用不大,部分参数删掉也不影响模型预测效果
      • Weight Factorization(权重分解):权重矩阵可以进行低秩矩阵分解,即low-rank matrix factorization,从而使得一些参数为0
      • Quantization(削减精度):能用float32,不用float64;能用int,不用float
      • Weight Sharing(共享权重):很多layer的参数可以共享,没必要用太多参数
  • 相关阅读:
    随机生成300道四则运算
    练习
    电梯演说模板练习
    敏捷开发
    团队模式
    思考
    build to win 观后感
    四则运算
    Code review
    Mutual review
  • 原文地址:https://www.cnblogs.com/toonice/p/14635992.html
Copyright © 2011-2022 走看看