机器学习中的线性和非线性判断
说到线性和非线性，你的直观理解是不是这样：
但这种直观理解其实不能回答下面这个问题：
那么为什么卷积操作是线性的，而ReLU是非线性的？
很多人对线性的定义不是很清楚。
实际上，线性的定义是： F(ax+y) = aF(x) + F(y)，
其中x、y为变量而a为常数。
卷积操作满足上面的式子，所以是线性操作。
下面可以快速判断是为非线性的三种常见情况：
(变量)^n，且n不为1|变量|有变量在绝对值內的为非线性sgn(变量)有变量在符号函数之内
而ReLU如下所示：
所以，很明显ReLU是非线性的。