标签：vllm

文章浏览阅读825次，点赞18次，收藏12次。最近给一家集团公司部署本地大模型，便写下本文记录一下**企业级生产环境部署大模型的全过程**。

文章浏览阅读730次，点赞12次，收藏4次。基于AutoDL服务器（单卡），通过vllm发布Qwen2.5-vl-7b-Instruct模型的API服务，在本地...