深度学习环境配置——1.5 环境搭建附录

目录         1.1 系统环境搭建

       制作系统盘 & ubuntu20系统安装 &机械盘挂载 & 网络配置 &RAID简介

1.2 ubuntu常见基础配置

       软件的配置& 基础软件安装 &搜狗输入法配置&远程SSH相关&系统默认内核&数据闭环设备

1.3 docker基础配置

      docker安装&镜像拉取加速&去除sudo限制&修改镜像存储位置&docker compose&docker 命令汇总1.4 深度学习镜像

       GPU驱动安装&nvidia docker&深度学习镜像查找拉取&深度学习容器创建&容器导出为镜像

1.5 环境搭建附录

1. anconda安装

2. conda环境创建

3. pytorch-gpu安装

4. 容器基础配置错误集

5. cuda安装  (一般镜像中自带）

6. cudnn安装 (一般镜像中自带）

1.6  数据闭环搭建&docker补充

        机械盘热插拔&NFS远程挂载&数据闭环系统&docker简介&docker基本概念&docker数据卷

1.7 linux基础&vscode

      linux常见基础命令&vscode编辑器搭建&vscode虚拟环境使用&vscode的debug功能&vscode远程链接服务器

1.5 环境搭建附录

1. anconda安装

• python版本对应查看：conda与Python版本对应关系
• conda压缩包下载：conda下载清华源

注释：Uname -a  查看系统版本    对应版本的conda，一般为x86_64

• 安装对应软件：bash Anaconda3-***.sh –> 一直按enter到yes –> enter默认安装路径 –> no 拒绝自动配置环境
• 配置环境：（容器中）打开配置文件(sudo vim ~/.bashrc) –>添加conda路径信息 （export PATH="/root/anaconda3/bin:$PATH"）–> 初始化配置文件（source ~/.bashrc）–>初始化conda环境(conda init) –> 退出容器重新进入
• 配置环境：（ubuntu20）打开配置文件(sudo vim ~/.bashrc) –> 输入下列两行命令保存退出è初始化环境变量（source ~/.bashrc）–> python3对应linux中自带python；python对应conda中的python

alias python3="/usr/bin/python3.10" #系统自带的python，别名3.10
export PATH="/home/user/anaconda3/bin:$PATH" #conda中的python

说明：which python 可以查看python路径，输入python进入conda的python环境，输入python3进入linux自带python

• 更换源：打开配置文件（vim ~/.condarc）–> 写入下列内容è保存退出（crtl +x –> y）–> 查看是否成功（conda config –show channels）

channels:
– https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
– https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
– https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
show_channel_urls: true

• 其他相关命令补充

恢复默认镜像：conda config –remove-key channels
删除单个镜像：conda config –remove channels your_url
添加镜像：conda config –add channels 镜像地址

2. conda环境创建

#创建虚拟环境： conda create -n Deeplearning python=3.9 Deeplearning为环境名称
#基于原有环境创建新环境： conda create –name new_env –clone old_env
#查看已有虚拟环境：conda env list
#删除已有环境：conda env remove –name 环境名称
# 关闭虚拟环境：conda deactivate
#激活虚拟环境：conda activate Deeplearning （出错时source activate Deeplearning）
# 安装open3d/opencv: 在激活的虚拟环境中安装
pip install open3d opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
#下载指定的版本库文件： pip install opencv-python==3.4.10.35

注释：使用conda安装报错，python –> import open3d /cv2 –>无报错即可，一般来说会在虚拟环境中安装这两个库，避免因环境问题安装出错

3. pytorch-gpu安装

• 使用pip进行安装，不推荐使用conda，具体命令可能会调整，具体看pytorch官网信息

# 说明：需要加清华源安装，否则网络连接失败，无法安装
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

• 验证是否安装成功：激活虚拟环境 –> python –>import torch –> torch.cuda.is_available (返回True则表示gpu版本安装成功)
• 查看pytorch版本： torch.__version__

4. 容器基础配置错误集

• 安装出错，更新源再安装：apt-get update

• Open3d-问题1：File "/root/anaconda3/lib/python3.10/site-packages/scipy/spatial/_kdtree.py", line 4, in <module>     from ._ckdtree import cKDTree, cKDTreeNode ImportError: /lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29' not found (required by /root/anaconda3/lib/python3.10/site-packages/scipy/spatial/_ckdtree.cpython-310-x86_64-linux-gnu.so)

参考博文：

如何解决version `GLIBCXX_3.4.29‘ not found的问题_glibcxx not found-CSDN博客

• Open3d-问题2：ImportError: cannot import name 'url_quote' from 'werkzeug.urls' (/root/anaconda3/lib/python3.10/site-packages/werkzeug/urls.py)

from werkzeug.urls import quote  # 使用 quote 而不是 url_quote

• 安装包冲突时，需要root权限  ： pip install –user 安装包名称
• 导入cv2时，提示libGL.so.1: cannot open shared object file: No such file or directo

apt-get install libgl1-mesa-glx

5. cuda安装  (一般镜像中自带）

• 进入官网下载：https://developer.nvidia.com/cuda-downloads

• 按照信息进行安装

• cuda环境配置
  • 打开.bashrc文件：sudo gedit ~/.bashrc
  • 末尾添加下列代码    cuda版本号需要更改

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-12.3/lib64
export PATH=$PATH:/usr/local/cuda-12.3/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-12.3    （可省略）
注释：具体版本号与位置可能发生改变

• 更新环境变量：source ~/.bashrc     
• 验证结果：nvcc –version

• 降低cuda版本：常见错误如下

E: Conflicting values set for option Signed-By regarding source
https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /:
/usr/share/keyrings/cuda-archive-keyring.gpg !=  E: The list of sources could not be read.

参考：在 /etc.apt/source.list.d/文件夹中删除重复文件（或者重命名），然后进行apt-get update命令即可

6. cudnn安装 (一般镜像中自带）

参考博文：Ubuntu 20.04(linux) cuda(12)+cudnn的deb方式安装以及验证（宝宝也适用哟）_ubuntu cudnn deb安装-CSDN博客

• 进入官网下载：cuDNN Download | NVIDIA Developer    对应版本12.；其他版本信息可以从下方 archive of previous release 中进入下载

• 解压压缩包：命令行或者手动解压
• 安装步骤：进入虚拟环境–> 复制cuDNN的头文件（sudo cp cudnn/include/cudnn.h /usr/local/cuda/include）–> 复制库文件（sudo cp cudnn/lib/libcudnn* /usr/local/cuda/lib64）–> 更改变量权限（sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*）

cudnn是解压包的文件名，大多数时候需要对文件路径名称进行修改