深度学习配置GPU环境

平台

  Ubuntu系统

注意事项

  配置环境前，请务必检查NVIDIA,CUDA,cudnn和pytorch(gpu),tensorflow(gpu)等之间的正确版本关系！

安装NVIDIA驱动

安装

  现在软件与更新->选择附加驱动中查找驱动，如果有满足的版本，直接安装重启即可。如果没有，按照以下步骤安装。

  卸载已有的nvidia显卡驱动(如果已安装的话)

sudo apt remove --purge nvidia*

  添加ppa源

sudo add-apt-repository ppa:graphics-drivers/ppa

  更新源列表

sudo apt update

  查看可安装的驱动列表

ubuntu-drivers devices

  安装nvidia显卡驱动

sudo apt install nvidia-driver-430   # 驱动型号自己修改，要和下面的CUDN匹配！

  重启电脑生效

sudo reboot

查看是否安装成功

nvidia-smi            # 检查nvidia显卡的相关信息
nvidia-settings       # 查看nvidia设置面板

安装后存在的问题

  显卡安装后可能会存在一定的问题，可百度自行解决。

安装CUDA

  CUDA是NVIDIA推出的用于自家GPU的并行计算框架，也就是说CUDA只能在NVIDIA的GPU上运行，而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。
  下载地址
  CUDA的版本要和NVIDIA版本一致，具体可参考官网说明

  下载完成后，执行命令安装：

sudo sh cuda_**_linux.run    # 换成自己的版本号

  按住空格快读阅读。
  根据提示选择安装事项，注意询问是否安装显卡驱动(driver)时一定要选择no！(10.1更新了界面，没有X表示不安装)。实际安装时请稍微等待一会。
  添加环境变量：

sudo gedit ~/.bashrc

  在最后添加以下内容：

export PATH=/usr/local/cuda-10.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

  刷新环境变量，使其生效：

source ~/.bashrc

  进入/usr/local/cuda-10.1/samples/1_Utilities/目录：

cd deviceQuery
sudo make
./deviceQuery

  不报错即可。

安装cudnn

  cuDNN(CUDA Deep Neural Network library)：是NVIDIA打造的针对深度神经网络的加速库，是一个用于深层神经网络的GPU加速库。如果你要用GPU训练模型，cuDNN不是必须的，但是一般会采用这个加速库。
  下载地址
  选择对应版本的Linux选项。
  下载后解压文件夹，如果后缀不是tgz，自己改一下。
  进入目录，依次执行以下命令：

sudo cp cuda/include/cudnn.h /usr/local/cuda-10.1/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-10.1/lib64
sudo chmod a+r /usr/local/cuda-10.1/include/cudnn.h 
sudo chmod a+r /usr/local/cuda-10.1/lib64/libcudnn*

  查看是否安装成功：

cat /usr/local/cuda-10.1/include/cudnn.h | grep CUDNN_MAJOR -A 2

参考博客

NVIDIA驱动

配置mmdetection环境

mmdetection

  mmdetection是商汤和港中文大学联合开源的基于PyTorch的对象检测工具包，属于香港中文大学多媒体实验室open-mmlab项目的一部分。该工具包提供了已公开发表的多种流行的检测组件，通过这些组件的组合可以迅速搭建出各种检测框架。

所需平台

  Annoconda3
  Ubuntu18.04
  python3.7
  pytorch1.4
  注：截至目前(2020.6.24)官网只支持1.4及以下的pytorch版本。

安装Annoconda

  下载Annoconda，清华大学开源软件镜像站
  安装Annoconda：

bash Anaconda3-5.2.0-Linux-x86_64.sh

  一路输入yes即可。最后一个提示信息Do you wish to proceed with the installation of Microsoft VSCode? [yes|no]，可以输入no。
  添加环境变量，依次执行：

sudo gedit ~/.bashrc
export PATH="/home/xupp/anaconda3/bin:$PATH"
source ~/.bashrc

  参考博客Ubuntu18.04安装Anaconda3

安装mmdetection

  官网安装步骤
  正式安装前，可以先把pip和conda的源换一下。

Ubuntu中pip换源

  创建目录：

sudo mkdir ~/.pip

  新建并打开文件：

sudo gedit ~/.pip/pip.conf

  输入以下内容：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple/ 
[install]
trusted-host = pypi.tuna.tsinghua.edu.cn

Ubuntu中conda换源

  清华开源软件镜像站
  新建并打开文件：

sudo gedit ~/.condarc

  输入以下内容：

channels:
  - defaults
show_channel_urls: true
channel_alias: https://mirrors.tuna.tsinghua.edu.cn/anaconda
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

  清除索引缓存：

conda clean -i

创建conda虚拟环境并激活

conda create -n open-mmlab python=3.7 -y
conda activate open-mmlab

  注意自己的python版本，open-mmlab可以更改为自己的名字。

安装PyTorch和torchvision

  这一步很关键，先确定好自己的cuda版本，然后一定要保证pytorch版本不能高于1.5。
  例如：

conda install pytorch=1.4 cudatoolkit=10.1 torchvision -c pytorch

  这里-c pytorch要加上。换完conda源后下载速度还是挺快的。(用有线或者手机热点试试，哪个快用哪个，下面的pip安装也是)

下载mmdetection源代码

git clone https://github.com/open-mmlab/mmdetection.git
cd mmdetection

  有线，手机热点哪个快用哪个，换过源的下载速度是很快的。

安装编译环境

pip install -r requirements/build.txt
pip install "git+https://github.com/open-mmlab/cocoapi.git#subdirectory=pycocotools"

编译安装

pip install -v -e .  # or "python setup.py develop"

  如果这里报错了，请检查自己的显卡驱动、cuda版本和pytorch版本是否匹配。(PyTorch需要1.4及以下)
  编译时间较长，耐心等待。