目录
1. Featurize远程服务器
1.1 服务器显卡租借
1.2 上传数据集和源码
1.3 配置运行环境
2. 复现代码
2.1 更改路径
2.2 运行MobilenetV3代码
2.3 保存训练结果
3. 总结
最近有很多小伙伴提到了就是自己在复现一些深度学习项目时,会遇见显存不够用,或者训练时间过长等问题。由于本人最近在做很多不同分割模型的对比实验,也是需要较大的显存和运算速度,因此本期文章给大家提供一个可以远程租借大显存服务器并复现代码的教程。
本期以较为常见的MobilenetV3分割模型为例,为大家从零开始在Featurize复现该代码提供教程,后续还会更新其他模型的复现教程,大家有想看的模型教程也可以在评论区留言,希望大家多多关注,多多点赞!!!!
1. Featurize远程服务器
1.1 服务器显卡租借
首先大家先登录Featurize的官方网站,然后进入界面后进行注册
Featurize官网
点击进入后在右上角注册账号然后登录就行,登陆成功后会出现以下界面
然后大家根据自己所需要的配置选择自己合适的显卡进行租借即可,我这面先租借了一张RTX A4000显卡用于给大家演示
这里面的显存是16GB,基本可以用来复现很多的代码,大家最好也是根据自己所需显存大小去租借服务器。
点击该显卡之后,大家选择App推荐的镜像即可,然后选择开始使用
然后稍微等待一会之后,我们就可以使用该显卡了,大家点击打开工作区后,开始使用该显卡
打开后是一下界面就表明租借成功
1.2 上传数据集和源码
大家现在就可以将自己的数据集和源码进行上传了,这里我个人建议是先上传到该平台的云端,然后直接上传至服务器(如果数据集比较大的话),如果数据集不算大的话正常上传也行,不会很占用时间,大家点击数据集
然后点击创建数据集,就可以将自己的数据集上传到云端了
创建完成之后就会显示在该界面下方,上传完毕后大家点击右边的查看
然后点击复制实例下载按钮
复制成功之后,咱们回到第一步中的实例区,也就是我们刚租借的显卡界面,然后点击终端
打开终端之后,大家将刚复制的数据集命令粘贴到该终端后运行,就可以将自己的数据集传入刚租借的电脑中了,出现以下界面表示上传成功,左上角也会显示咱们的数据集压缩包
然后大家复制自己压缩包的名称,在终端输入以下指令去解压压缩包
unzip data_dataset_voc
这里由于我的压缩包名称是data_dataset_voc ,所以是该指令,大家记得将名称改成自己压缩包的名称。
大家输入命令之后回车,就可以看到压缩包开始解压,解压好之后左边的项目区也可以看到
然后上传源码部分的话,大家可以将源码直接打成压缩包,然后拉进左边工作区即可,因为源码一般都比较小,所以直接拉进来就行(需要我的训练代码的可以评论区留言)
拉进来之后和上面的操作一样,依旧是解压即可,这里我就不重复讲解了
1.3 配置运行环境
紧接着咱们开始配置运行环境,继续在终端输入以下指令,然后运行
conda create -n mmseg python=3.8
这里的mmseg是我的环境名称,大家也可以换成自己的,当然,直接用我这个指令也没问题的
中途记得输入y之后让其继续创建环境,创建完成之后会出现以下界面
然后大家输入以下指令去激活环境
conda activate mmseg
这里的名称如果之前创建的时候没有用mmseg的话,就换成自己环境的名称激活即可,激活成功之后是以下界面
下一步,大家输入我的指令来开始安装包,记住,一定得是在刚创建的环境中安装,括号内是自己环境名称就意味着在当前环境
首先输入以下指令,然后运行
pip install torch==2.0.0 torchvision==0.15.1 torchaudio==2.0.1 –index-url https://download.pytorch.org/whl/cu118
运行之后出现以下界面表示安装成功
然后大家再输入下面指令
pip install -U openmim -i https://pypi.tuna.tsinghua.edu.cn/simple
配置成功之后是以下界面
然后我们继续配置环境,输入以下指令
mim install mmengine -i https://pypi.tuna.tsinghua.edu.cn/simple
配置成功之后会出现以下界面
紧接着继续配置环境,输入以下指令
mim install "mmcv==2.1.0" -i https://pypi.tuna.tsinghua.edu.cn/simple
配置成功之后是以下界面
因为我这边用的是mmseg的代码框架,大家接下来的步骤最好还是一步步按照我的来,然后在终端输入以下指令
cd mmsegmentation-1.2.2/configs
成功之后是以下界面
紧接着大家输入以下指令
cd ..
运行之后是以下界面
然后输入以下运行指令
pip install -v -e .
运行成功会出现以下界面
至此,环境配置部分就结束了
2. 复现代码
2.1 更改路径
大家需要将对应的路径都先全部更改为自己刚上传数据集的路径,集体步骤如下,依次打开以下文件夹
因为我用的是voc格式的数据集,所以打开该文件,打开之后我们在以下地方修改我们数据集的路径,其中data_dataset_voc是我数据集文件夹的名称,大家改成自己的
data_root = '/home/featurize/data_dataset_voc/'
大家注意,这个的前提一定是自己数据集是voc格式,如果是其他格式类型的话就在这个文件夹中找到自己格式然后进行修改,我的是标准voc格式,因此只需改第一个路径即可
大家在以下路径文件中打开后更改一下自己的目标和背景
2.2 运行MobilenetV3代码
我们在以下路径中找到MobilenetV3的配置代码并打开
mmsegmentation-1.2.2/configs/mobilenet_v3/mobilenet-v3-d8_lraspp_4xb4-320k_cityscapes-512×1024.py
上面这个是路径,大家仔细找找就可以找到
打开之后大家对以下地方进行修改
将这个地方修改为自己数据集路径,然后图片输入尺寸修改为自己数据集的尺寸
然后如果有需要的同学可以在以下路径修改自己的训练轮数,具体路径如下
mmsegmentation-1.2.2/configs/_base_/schedules/schedule_20k.py
在以下部分修改
然后在上方修改为20k即可
接下来复制以下训练命令,然后在终端运行,即可开始训练
然后大家在mmsegmentation-1.2.2的文件夹中点击+的按钮
点击后,进入以下界面
然后在终端输入以下指令,进入虚拟环境
conda activate mmseg
进入后输入我们的训练指令
python tools/train.py configs/mobilenet_v3/mobilenet-v3-d8-s_lraspp_4xb4-320k_cityscapes-512×1024.py
然后出现以下训练结果,复现成功
2.3 保存训练结果
训练结束后会出现以下界面
我们在以下路径中找到对应的训练结果进行下载
这个里面的内容就是刚才训练之后得到的,打开之后就有以下文件,权重文件这些都是可以直接右键然后下载的,文件夹的话大家可以右键压缩为压缩包之后,然后下载压缩包即可
这样就可以将我们服务器中的文件传至本地电脑
3. 总结
本文章详细介绍了如何使用Featurize平台中的显卡从零开始配置复现MobilenetV3,后续如果大家还有想看的可以评论区留言,如果有需要我代码的小伙伴也可以评论区留言,我看到之后会私信发送。
评论前必须登录!
注册