需求
占内存太大:但是没有想明白哪里占?参数?
那就计算一下参数:每个特征哈希出多少个结果
常见方法
- Pruning(修剪): 因为神经网络很多权重几乎为0,这类参数作用不大,部分参数删掉也不影响模型预测效果
- Weight Factorization(权重分解):权重矩阵可以进行低秩矩阵分解,即low-rank matrix factorization,从而使得一些参数为0
- Quantization(削减精度):能用float32,不用float64;能用int,不用float
- Weight Sharing(共享权重):很多layer的参数可以共享,没必要用太多参数