一、开场白
做机器学习的对这几个词应该比较熟悉了。
最好是拿到全部数据，那就模型慢慢选，参数慢慢调，一轮一轮迭代，总能取得不错效果。
但是面对新来数据，怎么能利用已经训练好的模型，把新的信息加进去？
所以有很多人，包括我们组，一直想做好在线增量式学习。
(1)来一波新数据，(2)抽信息更新模型，(3)扔掉那些数据
用完的数据就扔掉，所以输入数据的顺序，会影响很大。
二、暑假结束了
在暑假的最后一天，发现过去的两周没有被最优利用。
如果我提前知道我的暑假有整整两周，那么我可以把python系统地学一遍，或者把C++从头复习一遍。
但是我暑假的状态属于来一天过一天，我并不知道暑假什么时候结束。
我就只能在懒散之余，把每天仅有的一点学习时间，用在可以速成的、我最感兴趣的东西。
比如看一篇文章，做两个折磨过我的题。
每天还算过的充实，但是回头去看整体，还是觉得有点可惜。
三、人生是一次在线增量学习
时间再拉大一点，比如长期计划。
人的想法是会变的，社会是会变的，
依照今天的想法，依照社会现状，制定了三年的学习、生活目标与规划，
过了半年、一年，有了一些阶段性成果，
幸运的情况是，实现了自己的追求、符合行业发展，庆幸及早的规划，
也有可能是，偏离了当前的追求、偏离了行业发展，甚至可能觉得过去的规划是一种误导。
这样来看，“早知如此，何必当初” 就是现实生活的稳定性与可塑性矛盾。
人生是一次彻头彻尾的在线增量学习，没有岁月可回头，愿无岁月可回头。
四、机器学习科学家都是哲学家
我们可以猜测明天，但不能预见明天。
为了明天更好的生活，
我们可以基于<今天>的经验，可以基于<昨天, 今天>的经验，可以基于<去年,今年>的经验。
利用多少/哪些历史信息，可以最好的预测明天，从而让自己准备好适应明天。
这真是个哲学问题。
但是机器学习科学家居然通过调参数就给解出来了。真是一群哲学家！