网硕互联帮助中心
红帽AI推理服务器三大特点
文章浏览阅读1.1k次，点赞11次，收藏17次。无论部署在何种环境中，红帽AI推理服务器都为用户提供经过强化并获得官方支持的vLLM发行版，配套智能LLM压缩工...
标签：vllm
8卡H20服务器 + vLLM企业级部署满血版DeepSeek实录
文章浏览阅读825次，点赞18次，收藏12次。最近给一家集团公司部署本地大模型，便写下本文记录一下**企业级生产环境部署大模型的全过程**。
从零开始之4.1，基于AutoDL服务器（单卡），通过vllm发布Qwen2.5-vl-7b-Instruct模型的API服务，在本地进行调用
文章浏览阅读730次，点赞12次，收藏4次。基于AutoDL服务器（单卡），通过vllm发布Qwen2.5-vl-7b-Instruct模型的API服务，在本地...
