1、 用自己的话说明机器学习的四大分类: classification (分类)、 clustering (聚类)、regression (回归)、dimensionality reduction (降维)。
给定一个样本特征 ,其对应的属性值是离散的,就是分类。
给定一个样本特征 ,其对应的属性值是连续的实数,就是回归。
给定一组样本特征 , 没有对应的属性值 , 发掘这组样本在维空间的分布, 比如分析哪些样本靠的更近,哪些样本之间离得很远, 就是聚类。
用维数更低的子空间来表示原来高维的特征空间, 就是降维。
2、 用自己的话说明正向传播、反向传播、梯度下降。
正向传播:对于一组输入数据,前向传播。
反向传播:使用梯度下降算法来寻找的解。
梯度下降:利用数学中倒数的性质来计算参数的梯度,从而不断的调小参数。
3、用自己的话说明梯度消失和梯度爆炸原因。
梯度消失:神经网络有很多层,每个隐藏层都使用Sigmoid函数作为激励函数。
梯度爆炸:将w初始化为一个较大的值时,例如>10的值,从输出层到输入层每一层都会有一个s‘(zn)*wn的增倍,当s‘(zn)为0.25时s‘(zn)*wn>2.5,神经网络很深时,梯度呈指数级增长,最后到输入时,梯度将会非常大,会得到一个非常大的权重更新。