Horovod是一个支持TensorFlow、Keras、PyTorch和Apache MXNet的分布式训练框架。Horovod的目标是让分布式深度学习更快更易用。
为啥不用原生的TensorFlow分布式训练？
1、代码改动多少？
2、比原生的分布式训练快多少？
Horovod用的MPI比分布式TensorFlow用的parameter servers，简单直接得多。而且，Horovod更快，下面的benchmark用了128台服务器，每台机器4张Pascal GPU，机器之间是有RoCE能力的25Gbit/s网络。
对于Inception V3和ResNet-101，Horovod有90%的扩展效率，对于VGG-16，则是68%。
安装Horovod：（这些环境问题要注意！！！）
1、安装OpenMPI或者其他MPI实现。OpenMPI 3.1.3有个问题会导致卡住，建议降级到3.1.2，或者升级到4.0.0。
2、如果是用PyPI装的TensorFlow，要确保装g++-4.8.5或者g++-4.9。如果是用PyPI装的PyTorch，要确保装g++-4.9或者以上。如果是用Conda装的TensorFlow或者PyTorch，要确保装gxx_linux-64 Conda包。
3、安装Horovod pip包。
pip install horovod
通过docker使用Horovod：https://github.com/horovod/horovod/blob/master/docs/docker.rst 。
单机运行docker：
$ nvidia-docker run -it horovod:latest // 可能还要别的参数，例如--net=host root@c278c88dd552:/examples# horovodrun -np 4 -H localhost:4 python keras_mnist_advanced.py // 旧版本只有mpirun，不是horovodrun
下面的错误信息是因为容器运行没有用--privileged参数
Read -1, expected 131072, errno = 1
添加Mellanox RDMA支持
如果你有Mellanox网卡，
参考链接：