在企业级 AI 应用场景中,出于数据安全和网络隔离需求,常常需要在完全离线的内网环境中部署 AI 模型运行工具。Ollama 作为一款轻量级的开源模型运行框架,支持本地化部署大语言模型,本文将详细介绍如何在离线内网环境中完成 Ollama 的安装与配置。
一、部署前的环境准备
(一)基础设施要求
组件 |
最低配置要求 |
推荐配置 |
说明 |
操作系统 |
Linux x86_64 (CentOS 7+/Ubuntu 20.04+) |
CentOS 8/Ubuntu 22.04 |
支持 ARM 架构需单独编译 |
硬件配置 |
4 核 CPU/8GB 内存 / 50GB 存储 |
8 核 CPU/16GB 内存 / 100GB 存储 |
模型运行内存需预留 2 倍模型大小 |
网络环境 |
完全离线的内网环境 |
支持本地回环网络 |
禁止连接公网 |
(二)离线资源准备
-
- Ubuntu/Debian 系列:需提前下载libc6_2.31-0ubuntu9_amd64.deb、libstdc++6_12.1.0-2ubuntu1~20.04_amd64.deb等基础库
-
- CentOS/RHEL 系列
评论前必须登录!
注册