网硕互联帮助中心LoRA微调实战：万字深度解析
文章浏览阅读826次，点赞10次，收藏23次。本文介绍了参数高效微调(PEFT)技术及其在自然语言处理中的应用。文章首先探讨了如何选择适合的预训练模型，以文本风...
标签：LORA
半精度模型（16位）解析
文章浏览阅读22次。摘要：本文介绍了使用半精度模型（FP16/BF16）来优化深度学习模型内存占用的方法。通过PyTorch的torch_dtype参数可直接加...
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
文章浏览阅读2.7k次，点赞22次，收藏26次。LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数...
