十岁的小男孩
本文为终端移植的一个小章节。
Define:
如果一个m×n阶矩阵只需要少于m×n个参数来描述,就是一个结构化矩阵(structured matrix)。
优点:
不仅能减少内存消耗,还能通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度。
缺点:
1.结构约束会导致精确度的损失,因为约束可能会给模型带来偏差;
2.如何找到一个合适的结构矩阵是困难的;
3.没有理论的方法来推导出来;
综上:
因而该方法没有广泛推广。
知识应该是开源的,欢迎斧正,929994365@qq.com