LoRA微调实战:万字深度解析
文章浏览阅读826次,点赞10次,收藏23次。本文介绍了参数高效微调(PEFT)技术及其在自然语言处理中的应用。文章首先探讨了如何选择适合的预训练模型,以文本风...
文章浏览阅读826次,点赞10次,收藏23次。本文介绍了参数高效微调(PEFT)技术及其在自然语言处理中的应用。文章首先探讨了如何选择适合的预训练模型,以文本风...
文章浏览阅读16次。本文介绍了概率抽样和文档查询的基本方法。第一部分通过掷骰子实验演示了如何使用PyTorch进行概率抽样和估计:首先导入必要的库,使用多项分布...

文章浏览阅读93次。在深度学习和科学计算中,三角函数运算扮演着重要角色。PyTorch作为一款强大的深度学习框架,提供了丰富的数学函数库,其中`torch.ac...

文章浏览阅读508次,点赞9次,收藏9次。本文系统解析了百亿参数大模型训练的分布式核心技术方案,针对显存不足、训练效率低下和千卡通信瓶颈三大痛点,提出3D并行技...

文章浏览阅读718次,点赞9次,收藏21次。主要是整合网上资料,方便使用,后续会根据使用情况进行更新。_autodl配置pytorch

文章浏览阅读821次,点赞27次,收藏3次。本文详细介绍了Anaconda和PyTorch(GPU版本)的安装配置流程。主要内容包括:1)Anaconda的镜像...
文章浏览阅读430次,点赞4次,收藏5次。本文提出了一种高效非局部注意力机制(ENLA)及其组成的Transformer模块(ENLTB),用于解决图像处理中传...

文章浏览阅读705次,点赞16次,收藏8次。训练神经网络时,最常用的算法就是反向传播。在该算法中,参数(模型权重)会根据损失函数关于对应参数的梯度进行调整。为了...
文章浏览阅读1.4k次,点赞25次,收藏12次。大部分时候,由于光是固定超参数的情况下,训练完模型就已经很耗时了,所以正常而言,基本不会采用传统机器学习的那些超...

文章浏览阅读1.1k次,点赞11次,收藏9次。李沐老师《动手学深度学习(PyTorch版)》12.7. 参数服务器-笔记&练习详解