CUDA Switch

由于课题的原因，笔者主要通过 Pytorch 框架进行深度学习相关的学习和实验。在运行和学习网络上的 Pytorch 应用代码的过程中，不少项目会标注作者在运行和实验时所使用的 Pytorch 和 cuda 版本信息。由于 Pytorch 和 cuda 版本的更新较快，可能出现程序的编译和运行需要之前版本的 Pytorch 和 cuda 进行运行环境支持的情况。比如笔者遇到的某个项目中编写了 CUDAExtension 拓展，而其中使用的 cuda 接口函数在新版本的 cuda 中做了修改，使得直接使用系统上已有的新版本 cuda 时会无法编译使用。 　　为了满足应用程序和框架本身对不同版本的 cuda 的需求，(如上面遇到的问题中，即需要 Pytorch 能够切换使用系统上不同版本的 cuda ，进而编译对应的 CUDAExtension)，这里即记录笔者了解到的 Ubuntu 环境下 Pytorch 在编辑 cpp 和 cuda 拓展时确定所使用 cuda 版本的基本流程以及 Pytorch 使用不同版本的 cuda 进行运行的方法。　 　　在使用 Anaconda 安装 Pytorch 深度学习框架时，可以发现 Anaconda 会自动为我们安装 cudatoolkit，如下图所示。 　　上述安装的 cudatoolkit 与通过 Nvidia 官方提供的 CUDA Toolkit 是不一样的。具体而言，Nvidia 官方提供的 CUDA Toolkit 是一个完整的工具安装包，其中提供了 Nvidia 驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。使用 Nvidia 官网提供的 CUDA Toolkit 可以安装开发 CUDA 程序所需的工具，包括 CUDA 程序的编译器、IDE、调试器等，CUDA 程序所对应的各式库文件以及它们的头文件。上述 CUDA Toolkit 的具体组成可参考 CUDA Toolkit Major Components.