标签：vllm

文章目录 一、LLAMA-Factory简介二、安装LLaMA-Factory三、准备训练数据四、模型训练1. 模型下载2. 全量微调3.lora微调4.QLo...

文章浏览阅读1k次，点赞25次，收藏10次。基于AutoDL服务器（单卡），通过vllm发布Lora微调模型的API服务，在本地进行调用_lora的模型,vll...

文章浏览阅读1.1k次，点赞11次，收藏17次。无论部署在何种环境中，红帽AI推理服务器都为用户提供经过强化并获得官方支持的vLLM发行版，配套智能LLM压缩工...

文章浏览阅读825次，点赞18次，收藏12次。最近给一家集团公司部署本地大模型，便写下本文记录一下**企业级生产环境部署大模型的全过程**。

文章浏览阅读730次，点赞12次，收藏4次。基于AutoDL服务器（单卡），通过vllm发布Qwen2.5-vl-7b-Instruct模型的API服务，在本地...