AI大模型学习分享第一天 - 网硕互联帮助中心

Ollama 本地私有化大模型快速上手完整教程（从环境准备到命令实操）

一、前言

当下大模型应用普及，但直接使用公有在线大模型存在企业数据泄露、隐私安全等致命问题（如三星员工使用 ChatGPT 泄露内部资料事件），私有化本地部署大模型成为企业、开发者刚需。Ollama 作为开源轻量化本地 LLM 运行工具，跨平台、零复杂依赖、命令行易操作，是新手本地跑大模型、开发聊天机器人的首选方案。本文结合课程实操内容，完整梳理环境配置、大模型基础、Ollama 安装、全套命令、对话交互指令全流程。

二、前期统一开发环境工具配置

1. 必备工具清单 & 用途

所有软件禁止安装至 C 盘，安装路径无中文、无空格，如需更换路径必须卸载重装。

表格

工具作用

Typora/Notepad++	Markdown 笔记、代码文本编辑，课程文档记录
Xmind	思维导图梳理课程知识点
Snipaste	截图工具，F1 快速截图
Everything	本地文件全局快速搜索

2. Typora 基础语法

markdown

# 一级标题（Ctrl+1）
## 二级标题（Ctrl+2）
* 无序列表
> 引用区块
```代码块```

三、聊天机器人项目整体介绍

1. 聊天机器人定义

依托 NLP 自然语言处理技术，支持文本 / 语音人机对话，具备理解意图、多轮上下文、任务执行能力。

核心特点

自然语言理解：提取用户意图、关键词；

对话管理：维持多轮上下文连贯；

个性化交互：根据历史记录定制回复；

多功能：客服、教育、智能家居、健康咨询等。

主流大模型助手

DeepSeek、Kimi、通义千问、讯飞星火、豆包，各有场景侧重：长文本、语音、内容创作、代码等。

2. 本课程项目需求与架构

功能需求

对话：中英文交互、实时回复延迟≤3s；

界面：Streamlit 搭建 Web 前端，输入框 + 对话展示区；

整体架构

后端：Ollama 部署 Qwen 系列开源大模型，负责推理生成；
前端：Python Streamlit 快速构建可视化网页；
交互链路：用户输入→前端传递至 Ollama 模型→推理返回结果页面渲染。

四、大模型核心基础概念

1. 大模型四大分类

NLP 文本大模型：处理文本生成、翻译、问答；代表：GPT、BERT、Qwen

CV 视觉大模型：图像识别、绘图、检测；代表：Stable Diffusion、ViT

语音大模型：语音识别 ASR、语音合成 TTS；代表：Whisper、讯飞星火

多模态大模型：同时处理文本、图片、音频；代表：GPT-4、BLIP

2. 通用落地场景

智能客服、文案 / 代码生成、机器翻译、知识库问答、图像识别、自动驾驶视觉检测。

五、私有化部署大模型：为什么选 Ollama

1. 私有部署核心价值

数据安全：敏感业务数据本地流转，不上传第三方云端，杜绝泄密；

成本可控：无需云端 API 调用付费，本地硬件一次性投入；

内网离线可用：无网络环境也能运行模型；

可定制化：自定义提示词、模型参数、微调模型。

2. 本地运行工具对比：Ollama vs LM Studio

Ollama：开源、命令行友好、完善 API、适配开发者，轻量易上手，课程主推；

LM Studio：闭源、可视化界面完善，适合纯新手，但生态与开发兼容性弱于 Ollama；

生产多卡高并发场景：VLLM、K8s 集群部署方案。

3. Ollama 核心优势

一站式封装：模型权重、配置、GPU 适配整合为 Modelfile；

热切换模型，无需重启服务；

海量开源模型库（Qwen、DeepSeek、Llama 系列）；

Windows/Mac/Linux 全平台支持，CPU / 显卡均可推理；

依赖极简，低配电脑也能运行小参数量模型。

六、Ollama 下载、安装与模型路径修改

1. 官方下载地址

Windows：https://ollama.com/download/OllamaSetup.exe
Mac：https://ollama.com/download/Ollama-darwin.zip
Linux：https://ollama.com/download/ollama-linux-amd64 官方模型库：https://ollama.com/library

2. Windows 安装步骤

管理员身份运行安装包；

自定义非 C 盘路径安装；

CMD 验证：ollama -v 输出版本号即成功；

快速拉取运行模型示例：

shell

ollama run qwen2:0.5b
ollama run deepseek-r1:1.5b

3. 默认模型存储路径 & 自定义修改

Windows 默认路径：C:\\Users\\用户名\\.ollama\\models

自定义模型存放目录：

新建文件夹（如D:\\AI\\Models）；
系统环境变量新增 OLLAMA_MODELS=D:\\AI\\Models；
重启电脑生效，后续下载模型自动存入新目录。

七、Ollama 全局客户端命令（必掌握）

1. ollama run 运行模型

格式：ollama run 模型名:版本 [提示词] [参数]

示例单次对话：ollama run qwen2:0.5b "你好"
持续对话：ollama run qwen2（默认 latest 最新版）常用参数： –verbose：输出 token 耗时统计；–format json：返回 JSON 格式结果；–keepalive 设置内存驻留时间；Ctrl+C 强制终止推理。

2. ollama pull 拉取模型

仅下载不启动：ollama pull qwen2:0.5b –insecure 参数：忽略证书，内网离线下载使用。

3. ollama list / ollama ls

查看本地已下载全部模型，展示名称、ID、大小、修改时间。

4. ollama ps

查看当前正在内存运行的模型，显示显存 / CPU 占用、驻留时长。

5. ollama show 查看模型详情

shell

ollama show qwen2:0.5b –template # 查看对话提示词模板
ollama show qwen2:0.5b –parameters # 查看模型内置参数
ollama show qwen2:0.5b –system # 查看默认系统角色

6. ollama rm 删除本地模型

ollama rm qwen2:0.5b 清理磁盘空间。

八、Ollama 对话内交互指令（进入 run 对话后使用）

输入/?查看全部对话指令，核心常用指令汇总：

/bye / Ctrl+D：退出对话会话；

/clear：清空上下文记忆，开启全新对话；

/load 模型名：不退出终端，在线切换大模型；

/save 新模型名：将当前会话配置保存为自定义模型；

""" 多行内容 """：多行文本输入；

/set 会话动态参数配置：

/set format json：输出 JSON 结构化数据；
/set verbose：开启 token 耗时日志；
/set temperature 0.7：调整生成随机性（0 严谨，1 创意）；
/set num_ctx 4096：扩长上下文窗口；
/set seed 42：固定随机种子，保证相同提问回复一致；

/show：查看当前加载模型信息；

/? shortcuts：查看终端全部快捷键（清屏、删除、跳转行等）。

关键参数说明

表格

参数作用

temperature	生成创造性，越高回答越发散
top_k / top_p	控制输出多样性，降低结果幻觉
num_ctx	上下文 token 上限，长文档问答调大
repeat_penalty	抑制模型重复话术

九、总结

私有化本地大模型核心解决数据隐私安全问题，Ollama 是入门最优工具；

整体学习路线：环境工具安装 → 大模型基础认知 → Ollama 部署运行 → 命令行管理模型 → Python+Streamlit 搭建可视化聊天机器人；

实操重点：熟练掌握 pull/run/list/rm/ps 全局命令，对话内/clear、/load、/set参数调优；

拓展方向：基于 Ollama 提供的 API，结合 Python 开发专属离线聊天机器人，实现企业内部知识库问答、本地代码助手等场景。