
4卡4090服务器GraphRAG环境部署、加载ollama向量模型及向量知识图谱构建、加载vllm本地DeepSeek 32B推理模型无缝接入及API接口调用
文章浏览阅读1k次,点赞36次,收藏17次。本文介绍了在4卡4090服务器上部署GraphRAG环境的过程。硬件配置包括双路至强金牌6148处理器、128GB内...
文章浏览阅读1k次,点赞36次,收藏17次。本文介绍了在4卡4090服务器上部署GraphRAG环境的过程。硬件配置包括双路至强金牌6148处理器、128GB内...
文章浏览阅读607次,点赞19次,收藏10次。Dify作为低代码AI开发平台,其核心组件支撑了从简单对话到复杂自动化应用的构建。本文深入解析了Dify的五大核心...
文章浏览阅读904次,点赞9次,收藏22次。系统必须能够处理PDF和Word(.docx)格式的文档未来可扩展支持其他格式(如PPT、Excel等)支持用户提交...
文章浏览阅读6.6k次,点赞22次,收藏21次。多半是因为模型确实在队列中排队的原因,要么是内存一直在被占用中,要么是CPU或GPU一直在被占用中,可以首先检查...
文章浏览阅读185次,点赞2次,收藏3次。此demo是自己提的一个需求:用modelscope下载的本地大模型实现RAG应用。毕竟大模型本地化有利于微调,RAG...