前天，用简单的sklearn中提供的线性回归分析的一个lineregress的模块对手写图片识别函数进行提取了之后，发现对应的函数并没有比较好的效果，今天打算通过改进，来增强提取的正确性。
sklearn中提供了不止简单的线性回归分析的模块，还有梯度下降回归，梯度上升回归，随机森林回归，极端森林回归等回归分析的方法，所以今天打算通过这4种回归模型的测试，来尝试提高计算机识别函数的正确性。（1）首先我们尝试梯度下降的回归分析方法
梯度下降的回归是sklearn中的以下模型
from sklearn import linear_model model=linear_model.SGDRegressor()
在简单线性函数提取并模拟计算机复杂图像识别函数（1）的数据的基础上，也就是minist的手写数据基础上提取对应的函数，尝试上述模型，代入数据获得对应数字的值的这个函数提取出来，过程没有用到神经网络，实验过程完全一致，这里就不再展示过程了
可以看到梯度下降依旧正确率不高，甚至低于线性回归分析的正确率
（2）梯度上升回归分析
from sklearn.ensemble import GradientBoostingRegressor model=GradientBoostingRegressor()
依旧完全一致的实验过程，看看效果如何
可以看到正确率有了一点点的提升，不过这样的准确率还是完全不能入眼
距离相对比较好的函数提取还是有很大的距离
（3）随机森林回归
from sklearn.ensemble import RandomForestRegressor model=RandomForestRegressor()
同样的过程提取手写图像识别函数效果如下:
随机森林的回归分析直接将非线性函数的提取正确率翻了一番，意料之外...达到了昨天的最低要求了
（4）最后康康极端森林回归有没有更好的效果
from sklearn.ensemble import ExtraTreesRegressor model=ExtraTreesRegressor()
效果：
令人振奋的效果，一度达到了70%左右的正确率，这也就是说极端森林在非线性函数的拟合上有很好的效果，虽然不能完全达到100%，但是60%正确率...实在是太不可思议了