https://github.com/wudikua/ps
本项目是我自己动手实现的机器学习训练框架，代码简单，有很多不完善，但是也保留了最小可用功能
通过自己编写这个项目，可以帮助自己入门机器学习
准备
1. 学习梯度下降法训练LR模型原理，了解机器学习一般的套路
2. 学习神经网络的模型结构，正向传导和反向传导
3. 学习一些python写的神经网络，训练代码
4. 参考tiny dnn这种小型机器学习训练框架，学习如何封装组件
5. 学习computional graph，自动求导
6. 学习除了fully connected layer以外的其他一些layer算法
7. 学习一些更新算法，激活算法，Loss计算方法等
8. 学习机器学习的分布式训练，主要是参数服务器，设计网络通信，分布式存储等
以上部分的学习过程是比较曲折的，主要参考一些博客，文章，视频，论文等
代码实现
具体的代码可以参考git项目
机器学习训练框架需要考虑很多东西，除了最核心的算法外，还需要考虑扩展性，内存，网络，CPU，GPU等计算资源，以及分布式存储的相关知识
我认为分布式机器学习框架需要解决好如下几个大问题
1. 算法实现
各种算法的实现，这部分需要一些纯粹的机器学习知识，通过参考别人代码和一些资料可以实现
2. 矩阵库
因为机器学习的算法最后都会转为对矩阵操作，所以这一层最好是使用别人写好的一些库
这种数学运算，又涉及到CPU和GPU作为最后的计算设备，GPU计算的并行度远高于CPU，但是GPU显存有限，对GPU做调用也有一定开销
3. 参数服务器分布式
参数服务器这块属于工程方面，涉及到网络通信，序列化反序列化，传输中的压缩，以及合理利用网络带宽都是需要考虑的
还有一些优化是结合算法，在分布式环境下做出让步，取舍。比如一些异步更新机制。
4. 充分利用机器资源
机器学习是CPU密集型也是IO密集型，又非常吃内存，好的机器学习框架应该最大限度利用机器的计算资源和IO资源
还有一些其他能力比如说是否有一些可视化的图表帮助调试，是否有一些集群容灾功能，不过这些我觉得都是锦上添花
最重要的问题还是收敛速度
Java与机器学习
Java中有腾讯的angel和dl4j这两个项目，不过目前来看机器学习的训练框架主要还是c++，api是python
Java性能不如c++？
Java因为有JIT技术，所以跑一些基准测试并不比c++逊色，反而因为JIT的优化，可能还会比c++要好
Java写机器学习训练库有两个重要短板：
a. 对于底层设备的支持不行
但是目前加速机器学习训练速度的什么cuda，nccl，blas相关各种库都是c++接口，java想用的话只能jni或javacpp跨平台调用
再比如说CPU的SSE4指令集可以对浮点数乘法有优化，而Java只能在限制条件靠JIT自动做这种优化
b. 还有一个问题就是GC会影响机器学习的吞吐量
是不是有短板就不行？
跨平台调用虽然慢，但是如果一次训练很多数据，只做很少的跨平台调用，这样训练时间远大于调用的损失就无所谓
而且机器学习是个系统工程，更重要的是各子模块的配合，网络，内存，线程同步等等问题都会影响性能
机器学习框架展望
如何描述模型
第一代 sequence of layer
第二代 op graph，以tensorflow为代表
第三代 机器学习编译器，paddlepaddle中提出
paddlepaddle应该是最先进的，tensorflow还需要python调用c++，paddlepaddle相当于发明了一种机器学习语言，由编译器自动优化，让他跑在不同的设备上
可视化，可调式，易用性
调试和可视化这两点个人认为非常有意义的，类似tensorboard这种东西