【大模型量化】使用 llama.cpp 完成量化、本地推理与服务化部署

文章目录

• • 导读
  • llama.cpp 与 GGUF 格式
  • 准备工作
  • 编译 llama.cpp
  • 核心功能
  • • llama-cli(main) 交互式推理
    • server 服务化部署
    • 模型量化

导读

大模型时代，我们总在追求更大的参数规模、更强的算力硬件，但落到真实的工业场景里，成本与投入产出比永远是绕不开的命题。

国内某团队 过去外购的 LSR 引擎每年成本高达数千万，现在用纯 C/C++ 实现了一套 CPU 部署方案，在满足业务时效要求的前提下大幅降低了成本。 llama.cpp 这个项目的价值 在于 大模型不一定要堆 GPU，用更轻量、更高效的方式，同样能落地产生价值。

这篇文章就带你完整上手 llama.cpp：从环境编译、本地交互推理，到服务化部署、模型量化，手把手走完轻量化大模型落地的全流程。

llama.cpp 与 GGUF 格式

llama.cpp 最初的定位是在 CPU 上高效运行大语言模型，后续逐步扩展支持 CUDA、Metal 等多种硬件加速。

它的核心优势非常鲜明：

极致轻量：无复杂依赖，编译后即可运行；性能优异：针对 CPU 指令集深度优化，也支持 GPU 分层加速；成本友好：普通家用 CPU 就能跑 7B/8B 模型，大幅降低部署门槛

github项目地址

提到 llama.cpp，就绕不开 GGUF 格式， 这个格式正是由 llama.cpp 作者主导定义，也是目前 llama.cpp 的原生模型格式。

准备工作

下载模型文件：我们以中文 Llama3 8B 模型为例，提供两种常用的模型选择：

• 原生全量模型：Llama3-8B-Chinese-Chat（safetensors 格式，适合自行量化）
• 预量化模型：Llama3-8B-Chinese-Chat-GGUF-8bit（GGUF 格式，可直接运行）

huggingface 地址

国内用户建议配置 Hugging Face 镜像加速下载：

# 配置镜像地址
export HF_ENDPOINT=https://hf-mirror.com

# 命令行下载预量化模型
huggingface-cli download shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit \\
–local-dir /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF

克隆源码

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

编译 llama.cpp

很多没接触过 C++ 的同学会对编译感到困惑，我们先理清三个核心工具的关系：

• CMake：跨平台构建生成工具，读取 CMakeLists.txt 生成 Makefile
• Make：构建自动化工具，读取 Makefile 调度编译流程
• g++/clang/MinGW：真正执行代码编译、链接的编译器

简单来说：CMake 生成 Makefile，Make 调用编译器完成编译。

CPU 版本编译：适合无 GPU 的纯 CPU 环境：

cmake -B build_cpu
cmake –build build_cpu –config Release

CUDA 版本编译：有 NVIDIA GPU 推荐编译此版本，开启 GPU 加速：

cmake -B build_cuda -DLLAMA_CUDA=ON
cmake –build build_cuda –config Release -j 12

参数说明：

• -B build_cuda：指定构建输出目录
• -DLLAMA_CUDA=ON：开启 CUDA 编译宏，编译 GPU 加速代码
• –config Release：使用发布模式编译，去除调试信息，性能最优
• -j 12：使用 12 线程并行编译，加快速度

核心功能

llama-cli(main) 交互式推理

llama-cli(main) 是 llama.cpp 最基础的可执行程序，用于本地交互式对话。

运行示例：进入编译后的 bin 目录，执行以下命令即可启动对话：

cd /root/code/llama.cpp/build_cuda/bin/

./llama-cli -m /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf \\
-n -1 \\
-ngl 256 \\
-t 12 \\
–color \\
-r "User:" \\
–in-prefix " " \\
-i \\
-p \\
'User: 你好
AI: 你好啊，我是双子座，要聊聊吗?
User: 好啊!
AI: 你想聊聊什么话题呢？
User:'

常见问题：如果遇到模型无限生成、输出乱码，大概率是终止符不匹配。请检查：模型对应的对话模板是否正确；-r 参数指定的停止字符串是否与模型模板一致；可尝试显式设置 EOS 终止标记。

server 服务化部署

本地交互只适合单人使用，如果要提供 API 服务，就用 server 模块 —— 它兼容 OpenAI API 格式，可以无缝替换现有调用。

启动服务

cd ~/code/llama.cpp/build_cuda/bin

./server \\
-m /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf \\
–host "127.0.0.1" \\
–port 8080 \\
-c 2048 \\
-ngl 128 \\
–api-key "echo in the moon"

参数说明：

• –host “127.0.0.1”：服务监听地址。如需对外访问，改为 0.0.0.0
• –port 8080：服务端口号
• -c 2048：上下文窗口大小，单位为 token
• –api-key：设置 API 密钥，保护服务不被未授权访问

调用方式

服务启动后，可以用标准 OpenAI 格式调用：

curl http://127.0.0.1:8080/v1/chat/completions \\
-H "Content-Type: application/json" \\
-H "Authorization: Bearer echo in the moon" \\
-d '{
"model": "llama3",
"messages": [{"role": "user", "content": "你好"}]
}'

也可以直接使用 Python 的 openai SDK 调用，只需修改 base_url 即可，业务代码几乎零改动。

模型量化

量化是 llama.cpp 的灵魂功能，也是降低模型部署成本的核心手段。

模型量化就是把高精度的浮点数权重（如 FP16）转换为低精度整数（如 INT8、INT4），从而：

• 减小模型体积（4bit 量化体积约为 FP16 的 1/4）
• 加快推理速度，降低显存 / 内存占用
• 代价是轻微的精度损失

工业界常用混合精度量化：不是所有层都用低精度，对精度敏感的层保留 FP16/FP32，对精度不敏感的层做量化，在速度与效果之间取得平衡。

路径一：GGUF 模型再量化 如果你已经有一个 GGUF 格式的模型，可以用 quantize 工具进一步量化：

cd ~/code/llama.cpp/build_cuda/bin

./quantize –allow-requantize \\
/root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf \\
/root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q4_1-v1.gguf \\
Q4_1

–allow-requantize：允许在已量化模型上再次量化。不推荐这样做，因为会叠加精度损失，优先从 FP16 原模型开始量化；最后一个参数为量化精度，如 Q8_0、Q4_1、Q5_K_M 等。

路径二：Safetensors 转 GGUF 并量化 如果你的原始模型是 Hugging Face 格式（safetensors），可以用转换脚本一步完成格式转换与量化：

python convert-hf-to-gguf.py /root/autodl-tmp/models/Llama3-8B-Chinese-Chat \\
–outfile /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v1.gguf \\
–outtype q8_0

一般来说，K 系列量化（Q2_K、Q3_K、Q4_K、Q5_K）采用了更精细的分块策略，在相同比特数下效果优于传统 Q 系列，日常使用优先选 Q4_K_M 或 Q5_K_M。