确定 ⇒ 概率 ⇒ 贝叶斯化;
算法的创新:
- stochasticity, hash;
- 对以前的算法、模型进行修改和改进;(也就是吴军老师所说的,N+1。试想有没有那么一种可能,N-M+K,华山不是只有路一条,适当地回退,再重新出发),比如
- 在降维算法上,从 PCA 到 KPCA 的提出只能算是一种改进,
- PMF (概率矩阵分解)原初的实现是基于高斯分布,等价于 L2 的正则,将其分布设定为拉普拉斯分布,就等价成了 L1 正则,这也是针对算法具体问题进行的改进;
- “新”的模型和算法,属于另辟蹊径;当然也算不上严格意义上的“全新”,也不是基础性原理性的转变,不是缝缝补补的工作,而是开辟了新的路径;
- 降维算法从 PCA 完全转向为流形学习;
- Binary masking noise:
- set a fraction of the features of each input to zero.
- 让一部分的值为0,其他的值仍保持不变;
1. 拓展和泛化(Generalized)
从调和平均到加权调和平均
关于调和平均(harmonic mean):
H=11n∑i=1n1xi=n∑i=1n1xi 进一步将其拓展泛化为加权调和平均:
H=11∑i=1nmi⋅∑i=1nmixi=∑i=1nmi∑i=1nmixi