6G显存跑35B超大模型！本地部署AI服务器，打造专属AI助手

一、先看最终效果：你的个人 AI 基础设施

浏览器打开 http://localhost:8080。你能看到：

• 一个完整的对话界面，像 ChatGPT 一样聊天
• 上传图片，模型能看图分析、OCR 识别、描述画面
• 接入 Hermes Agent 后，它能自动查资料、写代码、执行命令、调用工具

全程本地运行。不消耗任何 API 费用。数据不出你的电脑。没有 token 限制，想聊多少聊多少。

二、为什么是这个模型？MoE 架构详解

2.1 35B 总参数，只激活 3B

Qwen3.6-35B-A3B 是阿里通义千问 2026 年 4 月发布的 MoE（Mixture of Experts）模型，Apache 2.0 协议完全开源。它的核心创新在于：

35B 总参数，但每次推理只激活 3B 参数。
这意味着它拥有 35B 模型的知识容量，但只消耗 3B 模型的算力。

SWE-bench Verified 得分 73.4%，超过了全部激活 31B 参数的 Gemma 4-31B（52.0%）。在 Artificial Analysis 排行榜上，40B 以内开源模型中属于第一梯队。

2.2 MoE 不是"偷工减料"，是架构创新

很多人第一次听说 MoE 时会有疑惑：35B 参数为什么只激活 3B？这不是欺诈吗？

传统 Dense 模型：35B 参数全部参与每次推理。以 FP16 精度计算，仅加载模型就需要 70GB+ 显存。量化到 Q4 也需要约 20GB。普通消费级显卡根本扛不住。

MoE 模型：35B 参数被分成 256 个专家（Expert），外加一个路由网络（Router）。对于每个输入 token，路由器只挑选最相关的 9 个专家激活，其余专家处于"休眠"状态。实际激活参数量仅约 3B。

打个比方：
传统模型像一个 35 人的公司，无论什么任务所有人都得参与——写一行代码也要 35 个人开会。
MoE 模型像一个 35 人的专家团队，收到任务后，“项目经理”（路由器）快速判断任务类型，只派 2-3 个最擅长的人去干。

所以 Qwen3.6-35B-A3B 量化后只需要 6-20GB 显存，跑起来的速度接近 3B 模型，但输出质量接近 35B 模型。这不是参数注水，这是架构效率的革命。

2.3 与其他本地模型的对比

可以看到，在 6G 显存能跑的模型中，Qwen3.6-35B-A3B 是知识密度最高的选择。它用 MoE 架构打破了"显存大小决定模型大小"的物理限制。

三、前提条件：你的电脑能跑吗？

**⚠️ 注意：**纯 CPU 也能跑，但速度会慢很多。以 IQ2_M 量化为例，CPU 模式下约 1-2 token/s，GPU 加速可达 10-30 token/s。强烈建议使用支持 CUDA 的 NVIDIA 显卡。

四、阶段一：下载 llama.cpp——本地推理引擎

第一步：选择正确版本

打开 llama.cpp Releases，找最新版本（本文写作时最新为 b9326）。

**NVIDIA 用户注意：**除了主包，还要下载 cudart-llama-bin-win-cuda-12.4-x64.zip，它包含 CUDA 运行时 DLL，缺失会导致启动报错。

第二步：解压与目录准备

⚠️ 铁律：路径不能有中文。 llama.cpp 对中文路径支持不佳，解压到中文目录会报各种莫名其妙的错误。

将压缩包解压到纯英文路径，例如 D:\\llama-cpp 或 C:\\llama。

CUDA 用户：把 DLL 包的内容也解压到同一目录（覆盖相同文件即可）。

新建一个 models 子目录：

D:\\llama-cpp\\
├── llama-server.exe ← 主程序（这是我们要用的）
├── llama-cli.exe ← 命令行推理工具
├── llama-quantize.exe ← 量化工具
├── models\\ ← 放模型文件
│ ├── Qwen3.6-35B-A3B-Q4_K_M.gguf
│ └── mmproj-Qwen3.6-35B-A3B-f16.gguf
└── *.dll (CUDA DLLs)

💡 科普：llama.cpp 是什么？
llama.cpp 是一个纯 C/C++ 实现的大模型推理引擎，由社区开发者 @ggerganov 创建。它不依赖 Python、PyTorch 等重型框架，只需一个 exe 就能跑大模型。它支持 GGUF 格式（一种高效的模型量化格式），自带 K-Quants 量化算法，能将模型从 FP16 压缩到 2-8 bit，同时尽量保持精度。它还内置了 HTTP 服务器（llama-server），提供兼容 OpenAI API 的接口，让任何支持 OpenAI SDK 的工具都能接入。

五、阶段二：下载模型——选择合适的量化等级

第三步：理解 GGUF 量化

GGUF 是 llama.cpp 团队开发的模型文件格式。简单说，它将模型权重从原始的 FP32/FP16 压缩到更低的精度。就好像把一张超高分辨率照片从 RAW 格式压缩成 JPEG——文件小了，但人眼看不出太大差别。

在 HuggingFace 搜索 Qwen3.6-35B-A3B GGUF，推荐从 bartowski 或 unsloth 的仓库下载，他们是 GGUF 格式的主要贡献者，量化质量有保障。

量化级别说明：

• Q4_K_M

  ：4-bit K-quants 的中间版本，精度和压缩率的最佳平衡点，推荐显存充足时使用

• Q3_K_M

  ：3-bit K-quants，牺牲少量精度换取更小体积

• IQ2_M

  ：2-bit 工业量化，压缩率最高但精度损失最大，是 6G 显存的"救命稻草"

**还要下载这个文件：**想要多模态看图功能，还必须下载对应的 mmproj 投影文件（约 1.3GB）。这个文件负责将视觉编码器的输出"投影"到语言模型的嵌入空间，让 LLM 能"看懂"图片。没有它，上传按钮会灰色不可点击。

全部放进 models\\ 目录。

💡 为何量化版本的模型文件比原始参数小这么多？
原始 FP16 精度：35B × 2 bytes = 70GB
Q4_K_M 量化后：35B × 0.5 bytes ≈ 17.5GB（加上 overhead 约 21GB）
IQ2_M 量化后：35B × 0.25 bytes ≈ 8.75GB（加上 overhead 约 11GB）
这就是量化的魔力——用 15%-30% 的精度损失，换来 4-8 倍的显存节省。

六、阶段三：启动模型——让大模型跑起来

第四步：一条命令启动

在 D:\\llama-cpp\\ 目录打开 PowerShell（Shift + 右键空白处 → 在此处打开 PowerShell）。

纯文本对话（不需要看图）：

.\\llama-server.exe -m “models\\Qwen3.6-35B-A3B-Q4_K_M.gguf” -ngl 999 -c 32768 -n 8192 –jinja –port 8080

多模态（支持看图）：

.\\llama-server.exe -m “models\\Qwen3.6-35B-A3B-Q4_K_M.gguf” –mmproj “models\\mmproj-Qwen3.6-35B-A3B-f16.gguf” -ngl 999 -c 32768 -n 8192 –jinja –port 8080

6G 显存用户（用 IQ2_M，缩小 context）：

.\\llama-server.exe -m “models\\Qwen3.6-35B-A3B-IQ2_M.gguf” –mmproj “models\\mmproj-Qwen3.6-35B-A3B-f16.gguf” -ngl 999 -c 8192 -n 4096 –jinja –port 8080

参数详解：

• -m

  ：模型文件路径

• –mmproj

  ：多模态投影文件路径。不加就不能看图

• -ngl 999

  ：尽量把模型层卸载到 GPU 显存。999 是"能放就放"，放不下的自动走系统内存

• -c

  ：上下文长度（context size）。8192 ≈ 6000 字中文。显存小就设小一点

• -n

  ：最大生成长度（max tokens）。4096 ≈ 3000 字中文

• –jinja

  ：Qwen3.6 必须加这个参数。它启用 Jinja2 模板引擎来渲染聊天模板。不加会出现回复异常、格式错乱、无限重复等问题

• –port

  ：HTTP 服务端口，默认 8080

看到这行输出就成功了：

main: server is listening on http://127.0.0.1:8080

浏览器打开 http://localhost:8080。你就能看到一个完整的聊天界面了。

第五步：一键启动脚本

每次敲命令太烦。新建一个 启动模型.cmd 文件，粘贴以下内容：

@echo off
chcp 65001 >nul
cd /d "%~dp0"
echo =============================================
echo Qwen3.6-35B-A3B 本地大模型启动器
echo =============================================
echo.
echo [1] Q4_K_M（24G 显存推荐，高速）
echo [2] IQ4_NL（8-12G 显存，均衡）
echo [3] IQ2_M（6G 显存，省显存模式）
echo [4] 自定义模型文件
echo.
set /p choice=请输入数字 [1-4]：
if "%choice%"=="1" set "MODEL=Qwen3.6-35B-A3B-Q4_K_M.gguf"& set "CTX=-c 32768 -n 8192"
if "%choice%"=="2" set "MODEL=Qwen3.6-35B-A3B-IQ4_NL.gguf"& set "CTX=-c 32768 -n 8192"
if "%choice%"=="3" set "MODEL=Qwen3.6-35B-A3B-IQ2_M.gguf"& set "CTX=-c 8192 -n 4096"
.\\llama-server.exe -m "models\\%MODEL%" -ngl 999 %CTX% –jinja –host 127.0.0.1 –port 8080
pause

放在 D:\\llama-cpp\\ 目录，双击运行即可。

七、阶段四：接入 Hermes Agent——你的本地 AI 助手

第六步：安装 Hermes Agent

Hermes Agent 是一个开源的 AI Agent 框架，支持本地部署。它能让大模型自动规划任务、调用工具、执行代码。

pipx install hermes-agent

💡 pipx 是什么？
pipx 是一个专门用于安装 Python 命令行工具的包管理器。它会为每个工具创建独立的虚拟环境，避免依赖冲突。如果你还没安装 pipx，先运行：python -m pip install pipx

第七步：配置连接本地模型

hermes model

选择 Custom endpoint，然后填写：

• Base URL：http://127.0.0.1:8080/v1

• API Key：

  任意值或留空

• Model：

  留空即可

验证配置：在终端输入 hermes，然后发一条消息。如果 Agent 正常回复，同时 llama-server 窗口有请求日志，就说明全部搞定。

第八步：Hermes Agent 能做什么？

接入后，你的本地模型不再只是"聊天机器人"，而是真正能干活的 AI 助手：

• 自动执行任务：

  “帮我写一个 Python 脚本，读取当前目录下所有 CSV 文件并合并”

• 调用工具：

  它可以搜索文件、运行命令、操作 API

• 自主规划：

  复杂任务可拆解为多个步骤逐步执行

• 代码生成：

  生成代码并自动运行调试

• 图片分析：

  上传截图让它分析问题、提取文字

八、拓展应用：你的电脑 = AI 基础设施

跑起来之后，你的电脑就变成了一台完整的 AI 服务器，远超"聊天"的范畴：

8.1 当 OpenAI API 的平替

任何支持 OpenAI SDK 的工具，只要把 base_url 改成 http://localhost:8080/v1，就能直接使用本地模型。举例：

from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8080/v1",
api_key="not-needed"
)
response = client.chat.completions.create(
model="not-needed", # llama.cpp 会自动使用已加载的模型
messages=[
{"role": "system", "content": "你是一个AI编程助手"},
{"role": "user", "content": "用Python写一个冒泡排序"}
],
max_tokens=2048,
temperature=0.7
)
print(response.choices[0].message.content)

8.2 接入本地知识库

结合 LangChain 或 LlamaIndex，喂入你的私有文档，构建完全本地运行的 RAG 系统：

pip install langchain langchain-community chromadb
# 示例：用本地模型做文档问答
from langchain_community.llms import LlamaCpp
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import Chroma
# … 你的文档全部本地处理，数据不出本机

8.3 作为 IDE 的 AI 插件后端

在 Continue.dev 或 Tabby 等代码补全工具中，将 API 端点指向本机，让 AI 辅助编程：

• Continue.dev 配置 "apiBase": "http://localhost:8080"
• 代码审查、重构建议、测试生成——全部本地完成

九、常见坑与排查指南

十、性能调优：让你的模型跑得更快

10.1 关键参数调优建议

• -ngl 调优：

  对于 6G 显存，-ngl 20 到 -ngl 30 可能比 -ngl 999 更快，因为减少了显存-内存之间的频繁数据交换。建议从 -ngl 999 开始，然后逐步调低，找到最佳吞吐量点。

• Thread 数：

  加 -t 6 到 -t 8 指定 CPU 线程数，充分发挥多核性能。

• Batch size：-ub 1024

  可以充分利用 GPU 并行计算能力。

• Flash Attention：

  加 –flash-attn 可以显著降低显存占用，特别是长上下文场景。

优化版启动命令：

.\\llama-server.exe -m "models\\Qwen3.6-35B-A3B-IQ2_M.gguf" –mmproj "models\\mmproj-Qwen3.6-35B-A3B-f16.gguf" -ngl 28 -c 8192 -n 4096 -t 8 -ub 1024 –flash-attn –jinja –port 8080

10.2 不同配置的预期性能

**💡 体验建议：**如果能达到 10 tok/s 以上，普通对话已经足够流畅。6-8 tok/s 可以接受但稍有等待感。低于 5 tok/s 更适合做批量处理而非实时对话。

十一、MoE 架构的深层理解

最后，让我们深入理解一下 MoE 到底是怎么回事。毕竟，你正在使用的这个模型，就是靠这种架构才得以在 6G 显存上运行的。

11.1 MoE 的工作流程

每个 MoE 层包含三部分：

当一个 token 进入 MoE 层：

• 路由器给 256 个专家打分
• 选择得分最高的 9 个专家（top-9 routing）
• 只有这 9 个专家 + 1 个共享专家参与计算
• 输出加权合并

这就是"35B 总参，3B 激活"的来源：256 个专家中只激活 9 个，加上共享专家的参数，实际每 token 只跑约 3B 参数。

11.2 MoE 的负载均衡

MoE 面临的一个核心挑战是负载均衡：如果路由器总是派任务给同一个专家，其他专家就"饿死"了。这会导致模型部分参数从未被训练，损害容量。

Qwen3.6 的解决方案包括：

• 辅助损失（Auxiliary Loss）：

  在训练时惩罚不均衡的路由分配

• 专家容量限制：

  每个专家的 token 处理数有上限

• 路由器正则化：

  鼓励更均匀的专家选择

这也是为什么 MoE 模型在推理时虽然效率极高，但训练时需要更多技巧。好在——我们只用推理，不用训练。

11.3 MoE 与量化：双重压缩的艺术

Qwen3.6-35B-A3B 能在 6G 显存上运行，其实用到了两层压缩：

实际显存占用还包括 KV Cache（约 2-4GB）、中间激活值、mmproj 等 overhead，所以最终 6G 显存刚好能跑起来。如果你仔细算就会发现：不是 MoE 模型太小，而是压缩技术太强。

十二、本地 AI 时代的意义

Qwen3.6-35B-A3B 的出现，加上 llama.cpp + Hermes Agent 的工具链，意味着：

• AI 不再是云端特权。

  一台普通电脑就能跑起能打的大模型

• 数据主权回归用户。

  敏感数据不必上传第三方 API

• 零边际成本。

  没有 token 计费，没有月费，想用多少用多少

• 可定制、可离线。

  断网也能用，没有审查限制

以前我们需要 24GB 显存才能流畅运行的 7B 模型，现在已经可以在 6GB 显存上跑 35B 模型。这不仅仅是效率的提升，更是本地 AI 从"玩具"向"工具"跨越的标志性节点。

说真的，这两年看着身边一个个搞Java、C++、前端、数据、架构的开始卷大模型，挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis，稳稳当当过日子。

结果GPT、DeepSeek火了之后，整条线上的人都开始有点慌了，大家都在想：“我是不是要学大模型，不然这饭碗还能保多久？”

我先给出最直接的答案：一定要把现有的技术和大模型结合起来，而不是抛弃你们现有技术！掌握AI能力的Java工程师比纯Java岗要吃香的多。

即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地！大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇！

这绝非空谈。数据说话

2025年的最后一个月，脉脉高聘发布了《2025年度人才迁徙报告》，披露了2025年前10个月的招聘市场现状。

AI领域的人才需求呈现出极为迫切的“井喷”态势

2025年前10个月，新发AI岗位量同比增长543%，9月单月同比增幅超11倍。同时，在薪资方面，AI领域也显著领先。其中，月薪排名前20的高薪岗位平均月薪均超过6万元，而这些席位大部分被AI研发岗占据。

与此相对应，市场为AI人才支付了显著的溢价：算法工程师中，专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%；产品经理岗位中，AI方向的产品经理薪资也领先约20%。

当你意识到“技术+AI”是个人突围的最佳路径时，整个就业市场的数据也印证了同一个事实：AI大模型正成为高薪机会的最大源头。

最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包【允许白嫖】：

• ✅从入门到精通的全套视频教程
• ✅AI大模型学习路线图（0基础到项目实战仅需90天）
• ✅大模型书籍与技术文档PDF
• ✅各大厂大模型面试题目详解
• ✅640套AI大模型报告合集
• ✅大模型入门实战训练

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

①从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（0基础到项目实战仅需90天）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤640套AI大模型报告合集

⑥大模型入门实战训练

👉获取方式：
有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓