云计算百科
云计算领域专业知识百科平台

标签:transformer

LoRA微调实战:万字深度解析

文章浏览阅读826次,点赞10次,收藏23次。本文介绍了参数高效微调(PEFT)技术及其在自然语言处理中的应用。文章首先探讨了如何选择适合的预训练模型,以文本风...

阅读(69)
一文彻底讲透:AI大模型应用架构全解析-网硕互联帮助中心

一文彻底讲透:AI大模型应用架构全解析

文章浏览阅读196次,点赞8次,收藏8次。引言大模型应用架构是连接基础模型能力与实际业务场景的关键桥梁,它通过系统化的设计,将大模型的潜力转化为可落地的解决方案...

阅读(105)
Transformer编码器部分实现-网硕互联帮助中心

Transformer编码器部分实现

文章浏览阅读636次,点赞12次,收藏17次。本文介绍了Transformer模型中的编码器实现,重点讲解了编码器的核心组件及其作用。编码器由N个堆叠的编码器层...

阅读(62)

PyTorch 实战:从 0 开始搭建 Transformer

文章浏览阅读994次,点赞20次,收藏8次。GCT 建议添加在 Conv 层前,一般可以先冻结原来的模型,来训练 GCT,然后解冻再进行微调。

阅读(105)