一个基于大模型的本地可跑的智能写作助手

开源一个本地可跑的智能写作助手：Node + Flask+ RAG + Ollama + LoRA

写在前面

日常写作里，我们经常会遇到这些场景：作文卡壳、开题报告结构乱、文案要反复润色、实验报告语言要更学术…… 如果只靠通用大模型「裸聊」，效果往往不稳定；如果再叠一层本地知识库（范文、术语、写作规范），再配合结构化 Prompt，体验会好很多。

于是我做了一个可本地部署的智能写作助手，并把完整代码开源了。它支持：

• 大纲生成、续写、改写、润色、摘要
• 侧栏对话式写作辅助
• 可选 RAG 知识库（先检索再生成）
• 用户登录、草稿同步与版本回滚
• 对接本地 Ollama，也可用 Mock 模式先体验

适用场景覆盖日常写作（初高中作文、日记、短篇小说、营销文案等）和部分专业写作（开题报告、实验报告等）。

项目能做什么

界面上是「写作区 + 侧栏」的经典布局：

核心思路不是「做一个聊天框」，而是把写作动作（续写、润色等）产品化，用 Prompt 工程把需求结构化，让输出更可控。

整体架构

项目采用前后端分离、本地多服务协作：

浏览器 (HTML/CSS/JS)
│
▼
Node.js 网关 (server.js)
├─ 静态页面托管
├─ 用户认证 (JWT)
├─ 草稿 / 版本 / 会话 API (MySQL)
├─ 代理 Ollama Chat API
└─ 可选：请求前向 RAG 服务检索并注入 system prompt
│
├──────────────► Ollama（本地大模型）
│
└──────────────► Flask RAG (rag_server.py)
├─ LangChain 文档切块
├─ Embedding（HF / Ollama）
└─ FAISS 向量检索

另外仓库里还包含基于 DeepSeek-R1-Distill-Qwen-1.5B 的 LoRA 适配器，用于在特定写作风格/任务上做轻量微调增强（可按需接入本地推理链路）。

技术栈一览

• 前端：原生 HTML / CSS / JavaScript（无重型框架，部署简单）
• 业务后端：Node.js（认证、草稿、Ollama 代理、RAG 注入）
• RAG 服务：Python Flask + LangChain + FAISS
• 数据库：MySQL（用户、草稿、版本、聊天会话等）
• 本地推理：Ollama
• 微调相关：LoRA Adapter（DeepSeek-R1-Distill-Qwen-1.5B/）
• 工程点：Prompt 工程、RAG（检索增强生成）、JWT 鉴权

几个值得说的实现点

1. Prompt 工程：把「写作意图」结构化

续写、润色、改写这类能力，不能只丢一句「帮我写好点」。 项目里会结合用户选中的文本、语气、语言、长度等约束，组装更稳定的指令，例如：

• 明确任务类型（polish / continue / rewrite）
• 约束风格与篇幅
• 要求保留原意、只优化表达

这样比自由对话更适合「写作工具」场景。

2. RAG：先检索，再生成

开启「是否采用知识库」后，流程大致是：

知识库内容来自 RAG_backend/data/（如范文、名言、语料等），通过 ingest.py 切块并建索引。 这样模型在写开题、作文时，可以参考你本地准备的材料，而不是只靠参数记忆。

3. Node 网关做「编排层」

Node 不只是静态服务器，还负责：

• MySQL 持久化与 JWT 登录
• 统一代理本地 Ollama，避免前端直连带来的跨域/密钥问题
• 在真正调用模型前，按开关决定是否做 RAG 增强

这层把「产品逻辑」和「模型推理」拆开了，后续换模型、换向量库都更方便。

4. LoRA：小成本适配写作任务

全量微调成本高，LoRA 可以在参数量很小的适配器上学习写作偏好。 仓库中提供了适配器权重目录，适合作为课程设计/毕设里「微调实验」的落地材料：对比基座模型与 LoRA 后在润色、续写等任务上的差异。

本地快速跑起来

依赖：Node.js、MySQL；可选 Python3、Ollama。

1）初始化数据库

mysql -u root -p -e "CREATE DATABASE IF NOT EXISTS ai_writing DEFAULT CHARSET utf8mb4;"
mysql -u root -p ai_writing < ai_writing_db_init.sql

2）配置环境变量

cp .env.example .env

填写 MySQL 密码、JWT_SECRET 等。

3）启动 Node 服务

npm install
npm start

终端会打印访问地址（PORT=0 时自动分配端口）。

4）（可选）启动 RAG

cd RAG_backend
python -m venv .venv
# Windows: .venv\\Scripts\\activate
pip install -r requirements.txt
python ingest.py
python rag_server.py

Windows 也可直接运行 启动RAG.bat。

5）在设置里关闭 Mock，改为真实 Ollama 模型即可开始正式写作。

适合谁用 / 能学到什么

如果你在做这些方向，这个项目会比较有参考价值：

• 大模型应用落地（不是只调 API Demo）
• RAG 全流程：ingest → 向量库 → 检索 → 注入 Prompt
• Prompt 工程在写作产品中的拆解
• LoRA 微调结果如何放到实际应用旁路里
• 前后端 + 本地推理的工程串联

写在最后

这个项目的目标很明确：本地可控、可扩展、可演示。 你可以先用 Mock 跑通交互，再接 Ollama；需要领域知识时打开 RAG；想做风格定制时再引入 LoRA。

欢迎 Star、Fork，也欢迎提 Issue 交流改进想法。

开源地址

GitHub：https://github.com/FZH27icecream/ai-writing-assistant