Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）

前置条件

在开始之前，请确保你的系统满足以下要求：

• 操作系统：Ubuntu 20.04/22.04（或支持 Docker 的 Linux 系统）。
• 硬件：NVIDIA GPU（例如 RTX 4090）。
• 内存：16GB+ 系统内存，GPU 需 12GB+ 显存（RTX 4090 有 24GB）。
• 存储：15GB+ 可用空间（用于源码、镜像和模型文件）。
• 网络：需要互联网连接以下载源码和依赖。
• 软件：
  • 已安装并运行 Docker。
  • 已安装 NVIDIA Container Toolkit 以支持 GPU。

第一步：安装 Docker 和 NVIDIA Container Toolkit

安装 Docker