2020/5/29
在 windows10 上面安装 CUDA 和 cuDNN
0、简单了解一下 CUDA 和 cuDNN
1）什么是 CUDA
CUDA(ComputeUnified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
2）什么是cuDNN
NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中，如谷歌的Tensorflow、加州大学伯克利分校的流行caffe软件。简单的插入式设计可以让开发人员专注于设计和实现神经网络模型，而不是简单调整性能，同时还可以在GPU上实现高性能现代并行计算。
1、查看本机的CUDA 驱动适配版本
桌面右键打开英伟达控制面板，点击帮助->系统信息->组件
可以看到本机支持的是CUDA 10.1 版本，表示是不支持更高版本的。如果你升级驱动，可能会支持更高版本，也可能不会提升。所以就必须安装 10.1 及以下的版本。
2、CUDA 各个历史版本下载链接
https://developer.nvidia.com/cuda-toolkit-archive
那根据第一步里面我自己的机器支持，我就下载10.1（Feb 2019）这个版本。
可以看到版本号是10.1.105，低于第一步里面的10.1.120，应该是没问题的。我的下载速度还是很快的:
3、下载 cuDNN
地址：https://developer.nvidia.com/rdp/cudnn-download
下载cuDNN是需要登录英伟达开发者账户的，注册一个并填写问卷就行了，很简单。
注意：必须选择和你安装的CUDA匹配的版本。
这个账号密码要求有大写字母，有字符：G**_*
上面选择 10.1版本，然后选择 windows10 ，接着开始下载。
两百多兆的压缩包，不过这次下载速度很慢。
4、安装 CUDA 和 cuDNN
1）安装 CUDA
找到你下载的CUDA，无脑安装就行了。当然如果你想自定义的话要记住你选择的安装路径。
CUDA安装完成后，打开命令行输入 nvcc -V ，成功的话会返回 cuda 版本号：
2）cuDNN
解压cuDNN压缩包，可以看到bin、include、lib目录：
将 bin 目录里面的内容复制，然后粘贴到 C:Program FilesNVIDIA GPU Computing ToolkitCUDA 对应的 bin 目录里面:
同样的，include 和 lib 目录里面的文件也复制到相应的文件夹里面。
5、添加环境变量
在系统环境变量的Path项下添加几个路径
点击 编辑 -- > 新建，需要添加下面两个路径（安装目录）：
C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1
C:Program FilesNVIDIA GPU Computing ToolkitCUDAv10.1libx64
6、查看安装结果
7、安装 pyTorch（在这一部分踩了很多坑）
（可以先看一下这篇文章 参考 https://blog.csdn.net/qq_36659185/article/details/106325832）
先放结论：（执行以下命令）
（1）创建pyTorch 虚拟环境（我们想在哪个虚拟环境上面安装pyTorch就可以在哪个环境安装，各环境之间互补影响）
conda create -n pytorch python=3.7
(2)进入 pytorch 虚拟环境
activate pytorch
（3）执行以下安装命令：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda install pytorch torchvision cudatoolkit=10.1
（4）安装完成测试 PyTorch GPU 版本是否安装成功
运行以下命令：
python
import torch
x = torch.rand(5,5)
print(x)
输出类似下面内容，则pytorch安装成功
再执行torch..cuda.is_available()
如果返回True，GPU版Pytorch成功安装完毕
下面是一些坑，可以不用看
下面再说详细步骤，以及自己踩过的坑：
进入官网 https://pytorch.org/get-started/locally/
在 Anaconda Prompt 里面运行下面自动生成的命令。
正常情况下到这里就可以慢慢下载成功安装了。
但是问题就出在 “ 慢慢” 二字！
因为官方源下载实在是太慢了！所以这里不得不考虑国内镜像源，我这里选择清华源（2020/5/29实测清华源可用，而且速度较快）。
注：这里补充一下添加清华源的方法，命令如下，依次执行：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
然后执行安装命令：
conda install pytorch torchvision cudatoolkit=10.1 -c pytorch ( 去掉后面的 -c pytorch 就是只使用清华源，不去掉就是官方源也可能会用到)
（注： 删除源的命令是 conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ ）
下载中：
如果使用官方的源，会很慢很慢，如果使用清华源，会显示有些需要安装的包没有，比如 pytorch-1.5.0：（注：这里其实是一个坑，并不是没有，后面有讲到）
使用 conda install pytorch torchvision cudatoolkit=10.1 -c pytorch 命令，就会有些用官方源，有些用清华源。
上图中，因为我反复安装了好几次，所以显示有些包已经安装好了，有些包已经下载好了但还未安装，有些包还需要下载。
我的问题出现在 pytorch这个包，官方源下载速度太慢，清华源不知为啥没有。
我查了一下原因，是不是我应该再设置一个 pyTorch 镜像：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/peterjc123/
我从网上找到的，不知道能不能解决问题，我先试一下：
我再来安装试一下：
卧槽可以了！太开心了：
开始下载，速度确实还可以：
