一点关于深度神经网络和非线性之间的关系的问答。
原文地址：https://blog.csdn.net/JNingWei/article/details/78866718
定义：
对“乘”、“加”运算 闭合。
作用：
-
非线性很难形式化，但却是深度学习的 核心竞争力 。
-
正是由于网络中强大的非线性因素，我们得以 深度地抽象出 特征。
-
非线性函数主要存在于 激活函数、bn、pooling层 ，用来 增加模型容错能力（即 防止过拟合）。
Note:
- 假若网络中全部是线性部件，那么线性的组合 其实还是线性，与单独一个线性分类器无异。这样就根本做不到用非线性来逼近任意函数。
我们在深度学习中讨论的线性和非线性到底是什么？
原文地址：https://www.zhihu.com/question/300804166/answer/522866960
这里说的线性和非线性其实就是线性代数里面的一样的，如前面知友说的就是f(x+y) = f(x) + f(y)而已，那么具体到你的问题为什么relu和maxpool可以产生非线性？
例如有input,有一个1x1 convolution layer f，然后maxpool(relu(input x f))中
input x f这个是convolute，是线性的，relu和maxpool结合着用可以实现非线性的效果，所以没有后面两种运算你有更多的convolution layer也是徒劳
作者：Dr.Shiki
链接：https://www.zhihu.com/question/300804166/answer/522866960
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
线性到底是什么意思？
原文地址：https://www.zhihu.com/question/20084968
既然现实世界是非线性的，那么线性方程和线性规划能解决的问题岂非太少？
原文地址：https://www.zhihu.com/question/20599323