半精度模型(16位)解析
文章浏览阅读22次。摘要:本文介绍了使用半精度模型(FP16/BF16)来优化深度学习模型内存占用的方法。通过PyTorch的torch_dtype参数可直接加...
文章浏览阅读22次。摘要:本文介绍了使用半精度模型(FP16/BF16)来优化深度学习模型内存占用的方法。通过PyTorch的torch_dtype参数可直接加...
文章浏览阅读1.9k次,点赞22次,收藏25次。LLaMA-Factory 是一个强大的大型语言模型微调框架:支持多种模型:涵盖 LLaMA、LLaVA、Mis...