原因可能是pytorch 自带的BN bug:安装nvidia apex 可以解决:
$ git clone https://github.com/NVIDIA/apex $ cd apex $ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./