标签：llama

4卡4090服务器GraphRAG环境部署、加载ollama向量模型及向量知识图谱构建、加载vllm本地DeepSeek 32B推理模型无缝接入及API接口调用

文章浏览阅读1k次，点赞36次，收藏17次。本文介绍了在4卡4090服务器上部署GraphRAG环境的过程。硬件配置包括双路至强金牌6148处理器、128GB内...

2025-07-30阅读(9)

文章浏览阅读786次，点赞5次，收藏13次。安装相应的依赖项。“可编辑” 模式意味着当你修改本地项目代码时，Python 环境会直接使用修改后的代码，而不需要重...

2025-07-30阅读(8)

文章浏览阅读185次，点赞2次，收藏3次。此demo是自己提的一个需求：用modelscope下载的本地大模型实现RAG应用。毕竟大模型本地化有利于微调，RAG...

2025-06-18阅读(54)

文章浏览阅读665次，点赞14次，收藏18次。我们使用的是FreedomIntelligence医疗推理数据集。Question：医学问题描述。：详细的医学推理...

2025-06-18阅读(60)

文章浏览阅读1.1k次，点赞30次，收藏27次。模型上下文协议(MCP)是大型语言模型(LLM)与外部数据交互的标准化接口，类似于AI的"USB端口&...

2025-06-07阅读(102)

文章浏览阅读811次，点赞29次，收藏8次。本文详细介绍了在配备4块NVIDIA 4090显卡的高性能服务器上部署Ollama环境的全过程。内容包括：硬件配置（...

2025-05-27阅读(316)

文章浏览阅读1.2k次，点赞24次，收藏23次。Llama Factory 是一个开源工具，旨在简化大语言模型（LLM）的微调过程，支持多种参数高效微调方法（P...

2025-05-26阅读(432)

文章浏览阅读962次，点赞25次，收藏41次。本文探讨了如何构建一个完全本地化的AI智能体，以解决隐私保护和数据主权问题。通过自定义的ModelContextP...

2025-05-22阅读(480)

文章浏览阅读1.5k次，点赞9次，收藏11次。LLama-2大模型的结构梳理，以7B为例_llama2-7b模型结构

2025-05-07阅读(92)

文章浏览阅读1.3k次，点赞23次，收藏9次。Llama 4通过原生多模态融合MoE参数效率优化和超长上下文支持，重新定义了开源大模型的技术边界。其在推理任务中...

2025-05-07阅读(112)