网硕互联帮助中心
4卡4090服务器GraphRAG环境部署、加载ollama向量模型及向量知识图谱构建、加载vllm本地DeepSeek 32B推理模型无缝接入及API接口调用
文章浏览阅读1k次，点赞36次，收藏17次。本文介绍了在4卡4090服务器上部署GraphRAG环境的过程。硬件配置包括双路至强金牌6148处理器、128GB内...
标签：embedding
告别GPU焦虑：如何在纯CPU服务器上，打造高性能Embedding服务？
文章浏览阅读1.1k次，点赞27次，收藏10次。本文分享了在纯CPU服务器上优化Embedding模型部署的经验。原方案使用Hugging Face的trans...
4卡4090服务器ollama环境部署、模型下载、模型调用及API接口调用
文章浏览阅读811次，点赞29次，收藏8次。本文详细介绍了在配备4块NVIDIA 4090显卡的高性能服务器上部署Ollama环境的全过程。内容包括：硬件配置（...
昇腾服务器（Atlas800系列）部署embedding和rerank模型
文章浏览阅读5.9k次，点赞23次，收藏18次。昇腾推理服务器部署embedding和rerank相关的RAG模型_昇腾部署embedding
