标签：pytorch

文章浏览阅读508次，点赞9次，收藏9次。本文系统解析了百亿参数大模型训练的分布式核心技术方案，针对显存不足、训练效率低下和千卡通信瓶颈三大痛点，提出3D并行技...

文章浏览阅读718次，点赞9次，收藏21次。主要是整合网上资料，方便使用，后续会根据使用情况进行更新。_autodl配置pytorch

文章浏览阅读821次，点赞27次，收藏3次。本文详细介绍了Anaconda和PyTorch（GPU版本）的安装配置流程。主要内容包括：1）Anaconda的镜像...

文章浏览阅读705次，点赞16次，收藏8次。训练神经网络时，最常用的算法就是反向传播。在该算法中，参数（模型权重）会根据损失函数关于对应参数的梯度进行调整。为了...

文章浏览阅读1.1k次，点赞11次，收藏9次。李沐老师《动手学深度学习（PyTorch版）》12.7. 参数服务器-笔记&练习详解

文章浏览阅读1k次，点赞24次，收藏13次。这次学习的OpenGAN主要学习一个思路，跳出传统GAN对于判断真假的识别到判断是已知种类还是未知种类。重点内容不在...

文章浏览阅读1.1k次，点赞16次，收藏12次。MTT S4000 是基于摩尔线程曲院 GPU 架构打造的全功能元计算卡，为千亿规模大语言模型的训练、微调和推理...