CUDA、CUDNN在windows下的安装及配置

一、安装前的准备

（1）查看自己N卡支持的CUDA版本，打开NVIDIA控制面板，选择系统信息

NVIDIA控制面板下  系统信息 显示：CUDA10.1。这里CUDA10.1是支持的最高版本的CUDA，可以向下兼容，且可以安装多个版本的CUDA，可以通过更改环境变量来更改为你需要用到的CUDA版本。CUDA多版本共存请参考文章： Windows下CUDA多版本共存

（2）NVIDIA官网下载对应CUDA版本

CUDA下载地址：CUDA Toolkit Archive | NVIDIA Developer

（3）CUDNN的下载

官网下载地址：https://developer.nvidia.com/rdp/cudnn-download

没有账号需要注册账号，账号登录后，找到自己对应的CUDA版本，点击下载

二、安装过程

（1）安装CUDA

安装路径，选择OK（安装完成后路径会自动变化，所以这里路径选择默认就好）

取消勾选GeForce Experience 

如果电脑上本身就有Visual Studio Integration，要将这个取消勾选，避免冲突了

点开Driver comonents，Display Driver这一行，前面显示的是Cuda本身包含的驱动版本是411.31

如果你电脑目前安装的驱动版本号新于Cuda本身自带的驱动版本号，那一定要把这个勾去掉。否则会安装失败(相同的话，也不用去勾选)

CUDA的安装位置可以自定义，系统默认是在系统盘C盘，为了方便日后管理，可以安装到非系统盘的其他盘 

这几个文件夹，用户手动创建

D:\360Downloads\CUDA10.0\NVIDIA GPU Computing Toolkit\CUDA\v10.0

D:\360Downloads\CUDA10.0\NVIDIA Corporation\CUDA Samples\v10.0

打开路径 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin ，查看nvcc.exe

有这个nvcc.exe就说明CUDA安装已成功

打开路径 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\lib64，查看有没有cuti64_101.dll

有这个cuti64_101.dll就说明CUPT1已成功

（2）配置CUDNN

解压CUDNN后，将对应的bin、lib、include与CUDA10.1对应的bin、lib、include进行合并。 

（3）配置环境变量

安装完CUDA后，CUDA会自动添加到环境变量中

CUPTA和CUDNN还没有加进来，所以必须将它们添加到路径，这样使用Tensorflow的时候才不会报错

手动添加CUPTI和CUDNN的环境变量如下图：

D:\360Downloads\CUDA10.1\NVIDIA GPU Computing Toolkit\CUDA\v10.1\lib\x64;

D:\360Downloads\CUDA10.1\NVIDIA GPU Computing Toolkit\CUDA\v10.1\include;

D:\360Downloads\CUDA10.1\NVIDIA GPU Computing Toolkit\CUDA\v10.1\bin;

D:\360Downloads\CUDA10.1\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\CUPTI\libx64;

D:\360Downloads\CUDA10.1\NVIDIA Corporation\CUDA\Samples\v10.1\bin\win64;

D:\360Downloads\CUDA10.1\NVIDIA Corporation\CUDA\Samples\v10.1\common\lib\x64

（4）测试CUDA

（5）查询显卡算力

进入目录 deviceQuery.exe
>> cd D:\360Downloads\CUDA\NVIDIA GPU Computing Toolkit\CUDA\v10.1\extras\demo_suite

运行 deviceQuery.exe
>> ./deviceQuery.exe

三、 TensorFlow 2.0 安装与测试

安装tensorflow-gpu==2.0.0-beta1
>> pip install tensorflow-gpu==2.0.0-beta0

在Anaconda虚拟环境中测试一下 tensorflow是否安装成功

测试成功，说明gpu版本已经安装成功

四、CUDA多版本共存

参考文章：Windows下CUDA多版本共存

五、可能出现的问题

Q：显卡驱动、CUDA版本不匹配

tensorflow各个版本的CUDA以及Cudnn版本对应关系

显卡驱动、CUDA版本不一致的问题，需要按照前面的步骤查看当前显卡驱动所支持的CUDA版本，去NVIDIA官网下载对应版本的CUDA。

Q：ImportError: Could not find 'cudart64_100.dll'错误

• tensorflow - 仅支持 CPU 的最新稳定版（建议新手使用）
• tensorflow-gpu - 支持 GPU 的最新稳定版（适用于 Ubuntu 和 Windows）
• tf-nightly - 仅支持 CPU 的预览每夜版（不稳定）
• tf-nightly-gpu - 支持 GPU 的预览每夜版（不稳定，适用于 Ubuntu 和 Windows）
• tensorflow==2.0.0-beta1 - 仅支持 CPU 的预览 TensorFlow 2.0 测试版（不稳定）
• tensorflow-gpu==2.0.0-beta1 - 支持 GPU 的预览 TensorFlow 2.0 测试版（不稳定，适用于 Ubuntu 和 Windows）

----------------------

解决方案，参考文章

tensorflow遇到ImportError: Could not find 'cudart64_100.dll'错误解决

彻底解决tensorflow:ImportError: Could not find 'cudart64_90.dll'

我的解决方案：

tensorflow-gpu==2.0.0-beta1 - 支持 GPU 的预览 TensorFlow 2.0 测试版（不稳定，适用于 Ubuntu 和 Windows），该版本不稳定，卸载重装一个稳定版即可

1. 卸载
>> pip uninstall tensorflow-gpu

2. 重新下载安装稳定版
>> pip install tensorflow-gpu

如果在稳定版的tensorflow下测试，还是不行，那就只能是CUDA与CUDNN之间的版本问题了。因为当前显卡驱动是支持CUDA10.1的，那我试下当前 显卡驱动是否支持CUDA10.0，然后CUDNN也是下载CUDA10.0所对应的版本

 现在系统中是有两个版本的CUDA和两个版本的CUDNN，同时配置好CUDA10.0和对应CUDNN的相关环境变量，用相同的方法测试

测试成功，说明gpu版本已经安装成功

Q：tensorflow-gpu ImportError: DLL load failed：找不到指定的模块

错误原因：CUDA版本与Tensorflow版本冲突

解决方案：卸载CUDA10.1，重新装CUDA10.0，同时添加对应的CUDNN，具体操作方法如上

Q：ImportError: Nomodule named '_pywrap_tensorflow_internal'

错误原因：

CUDA10.1与tensorflow-gpu版本冲突

解决方案：同问题（3）的解决方案。