网硕互联帮助中心内网环境下的企业级大模型部署实战：从Ollama离线安装到私有化AI应用构建
在金融风控、医疗诊断、法律文书分析等对数据隐私和合规性要求极高的领域，企业核心数据如同生命线，绝不允许离开内部网络。然而，AI大模型带来的效率革命又让人无法忽视。如何在完全隔离的内网环境中，安全、稳定地部署和运行一个功能完整的私有化大模型，并将其无缝集成到现有业务系统中，成为了许多技术团队面临的核心挑战。这不仅仅是下载一个软件那么简单，它涉及离线依赖管理、异构计算资源适配、服务高可用配置以及与企业级开发框架的深度整合。本文将从一个真实的金融科技项目视角出发，详细拆解在无外网访问的Linux服务器上，完成Ollama引擎的完整离线部署，并以通义千问模型为例，构建一个可通过HTTP API和SpringBoot微服务调用的内部智能问答系统。整个过程将绕过所有在线安装的“捷径”，直面内网部署中最棘手的实际问题。
1. 战前准备：理解内网部署的核心逻辑与资源规划
在按下第一个命令之前，清晰的蓝图比盲目的操作更重要。内网部署大模型，本质上是在构建一个自给自足的“数字孤岛”。这意味着所有在标准在线教程中“一键下载”的步骤，在这里都需要转化为“手动搬运”和“预先准备”。
首先，你需要明确部署目标服务器的“家底”。这不仅仅是看CPU是x86_64还是ARM64，更要关注其计算能力构成。例如，一台用于AI推理的服务器可能配备了NVIDIA GPU、AMD GPU，或者仅依赖高性能CPU。不同的硬件组合，决定了后续需要准备的依赖包完全不同。你可以通过以下命令快速完成硬件审计：
# 查看CPU架构
arch
# 或
uname -m
# 查看详细CPU信息
lscpu
# 检查NVIDIA GPU（如果服务器有NVIDIA驱动）
nvidia-smi
# 检查AMD GPU（通过PCI设备信息）
lspci | grep -i amd
注意：在内网环境中，lspci、lshw等硬件探测工具可能默认未安装。你需要在准备阶段，就将这些工具的安装包（如pciutils、usbutils的RPM或DEB包）纳入离线资源清单。
其次，规划好软件资源的离线仓库。你需要一个中间跳板机（具备外网访问权限），用于下载所有必需的安装包、二进制文件和模型文件。建议按以下目录结构进行组织，这将极大避免后续部署时的混乱：
/offline_packages/
├── ollama/
│ ├── ollama-linux-amd64 (或arm64) # Ollama主二进制文件
│ └── install_offline.sh # 我们改造后的离线安装脚本
├── system_deps/ # 系统级依赖包
│ ├── centos_rpms/ # 针对CentOS/RHEL的rpm包
│ └── ubuntu_debs/ # 针对Ubuntu/Debian的deb包
├── gpu_drivers/ # GPU相关依赖
│ ├── rocm_libs.tar.gz # AMD ROCm离线库（如果需要）
│ └── cuda_driver_offline/ # NVIDIA驱动离线安装包（可选）
├── models/ # 预下载的模型文件
│ └── qwen:7b # 例如通义千问7B模型文件
└── sdk_libs/ # 应用层依赖
├── python_packages/ # pip离线包
└── java_maven_deps/ # Maven仓库离线包
这个仓库结构是你本次部署行动的“弹药库”，它的完备性直接决定了内网部署的成败。
2. Ollama引擎的“外科手术式”离线安装
标准的Ollama安装脚本会动态地从GitHub和其官网拉取资源，这在断网环境下会立刻失败。因此，我们的核心策略是对官方安装脚本进行“静态化”改造，将其所有网络请求指向我们预先准备好的本地文件。
第一步：获取并解剖官方脚本。
在跳板机上，下载最新版的Ollama Linux安装脚本。我们以它为基础进行修改。
curl -fsSL https://ollama.com/install.sh -o install.sh
用文本编辑器打开这个脚本，你会发现它的核心逻辑包括：检测架构、下载对应二进制文件、创建系统用户、配置systemd服务、检测并安装GPU依赖。我们需要重点关注其中以curl或download开头的行。
第二步：制作离线二进制包与依赖。
根据目标服务器的架构（假设为x86_64），从Ollama的GitHub Releases页面下载对应的静态二进制文件。同时，如果服务器有AMD GPU，还需要下载ROCm的离线依赖包。
需要下载的文件清单：
1. https://github.com/ollama/ollama/releases/download/v0.1.31/ollama-linux-amd64
2. https://ollama.com/download/ollama-linux-amd64-rocm.tgz (仅AMD GPU需要)
将这些文件放入之前规划好的/offline_packages/ollama/目录。
第三步：重写安装脚本的关键段落。
这是最具技巧性的部分。我们需要注释掉或替换脚本中所有从网络下载的代码，改为从本地路径复制。以下是一个关键修改示例（原脚本的下载部分）：
# 原脚本中的下载行（需要被替换或注释）
# status "Downloading ollama…"
# curl –fail –show-error –location –progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
# 修改为从本地路径复制
status "Copying ollama binary from local offline package…"
cp /path/to/your/offline_packages/ollama/ollama-linux-${ARCH} $TEMP_DIR/ollama
对于AMD ROCm依赖的安装部分，同样需要修改：
# 原脚本
# curl –fail –show-error –location –progress-bar "https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}" \\
# | $SUDO tar zx –owner ollama –group ollama -C /usr/share/ollama/lib/rocm .
# 修改后
status "Installing AMD ROCm dependencies from local archive…"
$SUDO tar zxf /path/to/your/offline_packages/gpu_drivers/ollama-linux-amd64-rocm.tgz \\
–owner ollama –group ollama -C /usr/share/ollama/lib/rocm
第四步：处理系统工具依赖。
安装脚本会检查curl、awk、grep等基础工具。在内网纯净系统中，这些工具可能也不存在。因此，你需要在运行改造后的安装脚本之前，使用操作系统的离线包管理器手动安装这些依赖。例如，在RHEL/CentOS上：
# 假设你已经将对应的rpm包放在了 /offline_packages/system_deps/centos_rpms/
sudo rpm -ivh /offline_packages/system_deps/centos_rpms/curl*.rpm
sudo rpm -ivh /offline_packages/system_deps/centos_rpms/grep*.rpm
# … 安装其他必要工具
第五步：执行离线安装。
将修改好的install_offline.sh脚本和所有离线资源，通过U盘或内部文件服务器传输到目标内网机器。赋予脚本执行权限并运行：
chmod +x install_offline.sh
sudo ./install_offline.sh
如果一切顺利，脚本将不再尝试访问任何外部网络，而是直接从本地路径获取所有资源，完成Ollama的安装和systemd服务配置。
3. 模型文件的离线导入与存储策略优化
安装好Ollama引擎后，下一个难题是如何在没有网络的情况下“喂”给它一个大模型。Ollama默认的模型存储路径是/usr/share/ollama/.ollama/models，但出于数据管理和磁盘空间考虑，我们通常需要自定义这个位置。
方法一：通过OLLAMA_MODELS环境变量（推荐）。
这是最干净的方式。在启动Ollama服务之前，通过systemd服务文件的环境变量来指定模型库路径。
Environment="OLLAMA_MODELS=/data/ollama_models"
ExecStart=/usr/bin/ollama serve
User=ollama
…
sudo systemctl restart ollama
方法二：手动导入模型文件。
现在，我们需要将预先在跳板机上下载好的模型文件（例如qwen:7b）导入到这个自定义目录。Ollama的模型存储并非简单的单个文件，它包含blobs和manifests两个子目录，结构较为复杂。最可靠的方式是在跳板机上，利用Ollama的命令行工具将模型“拉取”到本地，然后将整个.ollama/models目录打包。
在跳板机上操作：
# 1. 在跳板机正常安装Ollama
# 2. 拉取所需模型，这会自动下载到默认目录
ollama pull qwen:7b
# 3. 找到模型存储目录并打包
tar -czf qwen7b_model.tar.gz -C /usr/share/ollama/.ollama/models .
将打包好的qwen7b_model.tar.gz传输到内网服务器，解压到自定义的模型目录：
sudo mkdir -p /data/ollama_models
sudo tar -xzf qwen7b_model.tar.gz -C /data/ollama_models
sudo chown -R ollama:ollama /data/ollama_models
完成后，在内网服务器上，你就可以直接运行该模型，而无需网络下载：
ollama run qwen:7b
提示：对于超大型模型（如百亿参数），模型文件可能高达数十GB。在通过物理介质传输时，务必使用校验和（如sha256sum）确保文件完整性，避免因传输错误导致后续加载失败。
4. 高级配置：多IP绑定、服务优化与监控
在内网生产环境中，Ollama服务可能不仅需要被本机访问，还要服务于同一网络下的其他应用服务器。同时，服务的稳定性和可观测性也至关重要。
网络绑定配置：
默认情况下，Ollama服务只监听127.0.0.1:11434。要允许其他服务器访问，需要修改监听地址。我们之前已经通过OLLAMA_HOST环境变量做了初步配置（0.0.0.0:11434）。但有时需求更复杂，例如服务器有多个网卡，你只想让服务监听内网IP（如192.168.1.100），而不是所有接口。这时，可以更精确地设置：
# 编辑服务文件，将环境变量设置为特定IP
sudo vi /etc/systemd/system/ollama.service
# 修改或添加
Environment="OLLAMA_HOST=192.168.1.100:11434"
systemd服务优化：
为了提升服务的健壮性，我们可以对systemd单元文件进行一些优化配置，例如限制服务资源、配置更灵活的重启策略。
[Unit]
Description=Ollama Service
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=ollama
Group=ollama
Environment="OLLAMA_MODELS=/data/ollama_models"
Environment="OLLAMA_HOST=192.168.1.100:11434"
ExecStart=/usr/bin/ollama serve
Restart=on-failure
RestartSec=5s
StartLimitBurst=3
StartLimitInterval=60s
# 资源限制示例 (根据实际情况调整)
LimitNOFILE=65536
LimitMEMLOCK=infinity
# 如果使用GPU，可能需要增加设备访问权限
DeviceAllow=/dev/nvidiactl rwm
DeviceAllow=/dev/nvidia-uvm rwm
DeviceAllow=/dev/nvidia[0-9] rwm
[Install]
WantedBy=multi-user.target
基础监控与日志：
Ollama自身日志可以通过systemd的journalctl查看：
# 查看实时日志
sudo journalctl -u ollama -f
# 查看最近100行日志
sudo journalctl -u ollama -n 100
对于生产环境，建议将日志导出到集中的日志系统（如ELK）。同时，可以编写一个简单的健康检查脚本，定期调用Ollama的API端点（如http://192.168.1.100:11434/api/tags）来确认服务状态，并将其集成到现有的监控平台（如Zabbix、Prometheus）中。
5. 构建企业级应用接口：从HTTP API到SpringBoot微服务
当Ollama服务在内网稳定运行后，下一步就是让业务系统能够方便地调用它。Ollama原生提供了简洁的HTTP API，这为我们构建上层应用提供了坚实基础。
直接使用HTTP API：
这是最轻量、最直接的方式。你可以使用任何支持HTTP请求的编程语言进行调用。例如，一个简单的生成（generate）接口调用：
curl http://192.168.1.100:11434/api/generate -H "Content-Type: application/json" -d '{
"model": "qwen:7b",
"prompt": "请用一句话解释机器学习中的过拟合现象。",
"stream": false
}'
对于对话（chat）场景，使用messages格式的接口更合适：
curl http://192.168.1.100:11434/api/chat -H "Content-Type: application/json" -d '{
"model": "qwen:7b",
"messages": [
{"role": "user", "content": "你好，请介绍一下你自己。"}
],
"stream": false
}'
集成到SpringBoot微服务（Java生态）：
对于Java技术栈的企业，将Ollama集成到SpringBoot应用中是目前非常流畅的体验。Spring AI项目提供了官方的Ollama Starter。
离线准备Maven依赖：在跳板机上，需要将相关依赖包下载到本地Maven仓库。
<!– 在你的项目pom.xml中声明依赖 –>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
<version>0.8.1</version> <!– 请使用最新稳定版本 –>
</dependency>
使用mvn dependency:get命令或在能联网的构建环境中打包项目，然后将整个本地Maven仓库（~/.m2/repository）中相关的jar包传输到内网开发/构建服务器。
SpringBoot配置：在application.yml中配置Ollama连接。
spring:
ai:
ollama:
base-url: http://192.168.1.100:11434 # 你的内网Ollama服务地址
chat:
options:
model: qwen:7b # 默认使用的模型
编写服务层代码：注入OllamaChatClient即可使用。
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.stereotype.Service;
@Service
public class AIChatService {
private final ChatClient chatClient;
public AIChatService(ChatClient.Builder chatClientBuilder) {
this.chatClient = chatClientBuilder.build();
}
public String chat(String userMessage) {
return chatClient.prompt()
.user(userMessage)
.call()
.content();
}
// 更复杂的对话，带流式响应
public Flux<String> chatStream(String userMessage) {
return chatClient.prompt()
.user(userMessage)
.stream()
.content();
}
}
构建RESTful API控制器：
import org.springframework.web.bind.annotation.*;
import reactor.core.publisher.Flux;
@RestController
@RequestMapping("/api/ai")
public class AIChatController {
private final AIChatService aiChatService;
public AIChatController(AIChatService aiChatService) {
this.aiChatService = aiChatService;
}
@PostMapping("/chat")
public String chat(@RequestBody ChatRequest request) {
return aiChatService.chat(request.getMessage());
}
@GetMapping(value = "/chat/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<String> chatStream(@RequestParam String message) {
return aiChatService.chatStream(message);
}
}
这样，你的内部业务系统（如CRM、OA、知识库系统）就可以通过调用这些REST API，安全地使用内网大模型的能力，而数据全程不会流出内网环境。
6. 性能调优与故障排查实战指南
部署完成只是第一步，让服务高效、稳定地运行才是长期挑战。以下是一些在内网环境中特有的调优和排错经验。
GPU利用率排查：
如果你为服务器配备了GPU，但发现推理速度并没有显著提升，首先需要确认Ollama是否真的在使用GPU。
- 对于NVIDIA GPU，在运行模型时，打开另一个终端，运行watch -n 1 nvidia-smi。观察GPU的显存占用和计算利用率（Volatile GPU-Util）是否有明显上升。如果没有，可能是CUDA版本不兼容或驱动问题。Ollama对CUDA版本有一定要求，需要确保内网安装的驱动版本足够新。
- 对于AMD GPU，情况稍微复杂。Ollama通过ROCm库支持AMD GPU。你需要检查ROCm库是否被正确加载。可以查看Ollama的日志，搜索“GPU”或“ROCm”关键字。也可以尝试设置环境变量来增加日志输出：HIP_VISIBLE_DEVICES=0 OLLAMA_DEBUG=1 ollama run qwen:7b。
内存与显存管理：
大模型是资源消耗大户。务必监控服务器的内存和显存使用情况。如果模型在加载或推理过程中被系统杀死（OOM Killer），你需要调整模型加载参数或升级硬件。
- 量化模型：如果显存不足，考虑使用量化版本的模型。例如，qwen:7b可能有qwen:7b-q4_0（4位量化）版本，它能显著降低显存占用，对推理速度的影响却相对较小。在内网部署时，直接准备量化模型文件即可。
- 系统交换空间：确保服务器有足够的交换空间（swap），作为内存不足时的缓冲。但这会严重影响性能，仅作为预防系统崩溃的最后手段。
常见故障与解决思路：
| ollama run 报错 Error: model 'xxx' not found | 1. 模型未导入到自定义目录。2. OLLAMA_MODELS环境变量未生效或路径错误。3. 模型文件损坏。 | 1. echo $OLLAMA_MODELS 检查变量。2. ls -la $OLLAMA_MODELS/blobs/ 检查模型文件是否存在。3. 重新传输并校验模型文件。 |
| 服务启动失败，日志显示 permission denied | 1. 模型目录权限不对。2. systemd服务用户ollama无权访问某些路径。 | 1. sudo chown -R ollama:ollama /data/ollama_models。2. 检查服务文件中User和Group设置，以及相关目录的权限。 |
| API请求超时或无响应 | 1. 防火墙阻止了11434端口。2. OLLAMA_HOST绑定地址错误。3. 服务进程僵死。 | 1. sudo firewall-cmd –list-all 或 sudo iptables -L 检查防火墙规则。2. `sudo ss -tlnp |
| 推理速度极慢，GPU显示0%利用率 | 1. GPU驱动或计算库未正确安装。2. Ollama未检测到GPU，回退到CPU模式。3. 模型本身不支持GPU加速。 | 1. 检查安装日志，确认GPU依赖步骤是否成功。2. 运行 ollama ps 查看模型运行模式。3. 尝试一个已知支持GPU的小模型（如llama2:7b）进行测试。 |
建立内部知识库：
在内网环境中，外部搜索引擎的帮助有限。因此，建议将本次部署的所有步骤、遇到的错误、解决方案、配置文件的修改记录，详细地整理成一份内部Wiki文档。这不仅能帮助团队其他成员，也是未来进行版本升级、服务器迁移时最宝贵的参考资料。
整个内网大模型部署的过程，就像是在一个封闭的实验室里搭建一套精密的实验装置。每一个零件都需要亲手挑选、测试和组装。当看到内部的业务系统成功调用本地模型并返回第一个答案时，那种对数据安全的掌控感和技术挑战被攻克后的成就感，是在线API服务无法给予的。这种完全自主可控的AI能力，正是许多对数据敏感行业进行智能化转型时，最坚实、最可靠的技术基座。
评论前必须登录！
注册