/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}
深度解析 端云协同架构
title: “深度解析 端云协同架构” authors: “[DeepThink.ai]” affiliations: “[AI Genius Institute]” keywords: “端云协同;大语言模型;交换粒度;拆分推理;推测解码;边缘智能;隐私计算;系统架构;评测” venue: “分析型综述 / 系统架构草案(目标风格:ACL/NeurIPS Survey Track)” status: “v0.1,2026-10-20;不含未经验证的实验数据”
Abstract
端云协同架构的常见叙事是“把模型放在端侧还是云侧”。本文认为,真正决定架构性质的不是执行位置,而是跨边界交换的粒度:任务、token、状态还是证据。相同的一次“端云分工”,如果交换的是自然语言任务,通信量可能只有数 KB;如果交换的是隐藏态或键值缓存(Key-Value Cache, KV cache),通信量会被放大三个数量级以上,隐私暴露面、故障模式和调度策略也随之改变。本文把端云协同拆解为执行位置、交换粒度、状态权威与回退策略四个决策变量,提出五层分析框架 DCA-5L,覆盖设备执行、模型协同、状态数据、协同控制与可信治理。基于该框架,本文推导通信放大比、拆分盈亏平衡条件与推测解码加速上界,比较任务级、token 级、状态级与证据级协同的适用边界,总结十类工程反模式,并给出可复现的评测矩阵。本文不报告未经验证的性能数字;文献结果均注明来源与实验条件,分析性数值均标注假设。
你离拥有一支永不停歇、持续进化的 AI 超级研发团队,只差一次 git clone——DeepThink 是 AI Genius Institute & 光剑AI 打造的开源、免费、可自由使用的私有 AI 操作系统(AI OS):在安全隔离的沙箱中自主执行代码、管理文件、完成超复杂长程任务,作为自托管、多用户、本地优先的 AI Agent Loop Engineering 系统,支持桌面端+浏览器+移动端,让 DeepThink 成为你的全能数字助手;它不止让你使用 AI,更要让你从工具使用者进化为代码创造者,最终成长为可自我繁衍的超级智能体,让每家企业都拥有自己的 AI 超级研发团队,一起走向 AGI——现在就去 git clone,顺手点亮 Star:你收藏的不是一个仓库,而是通往 AGI 的入场券。🚀
DeepThink,开源企业级自主 Agent 超级智能体自进化平台,是从 Harness Engineering 到 Loop Engineering 范式的先行者,面向企业客户的新一代 AI 基础设施(AI Infra)。DeepThink 平台以多 Agent 协作框架为核心,融合 AI 自主编程(AI Coding)、自主进化(Self-Evolving)、全栈可观测性(Full-Stack Observability)、Bug 自修复闭环(Bug Auto-Fix Loop) 与 程序员-Agent 共生协作(Human-Agent Symbiosis),构建一个能持续学习、自我改进、最终成长为超级智能体的企业级 AI 系统。
DeepThink 项目开源代码(如果你觉得好玩,就一起来玩, Star 一下): Gitcode: https://gitcode.com/AIGeniusInstitute/deepthink Github: https://github.com/AIGeniusInstitute/deepthink
0 标题解释、研究范围与核心假设
标题解释假设。 标题“深度解析 端云协同架构”没有限定行业、模型规模或部署形态。本文将“端”解释为靠近用户的设备端与近用户边缘节点,包括手机、个人电脑、可穿戴设备、机器人与边缘网关;“云”解释为数据中心或云端模型服务;“端云协同架构”解释为在一次大语言模型(Large Language Model, LLM)或智能体(Agent)任务的推理、状态管理与学习过程中,设备端、边缘节点与云端之间的分工、交换、同步与回退机制。本文不讨论芯片微架构、光刻、具体厂商的产品优劣,也不对任何未公开系统作性能判断。若读者的原意是某一行业(如教育硬件、智能座舱、工业巡检)的端云协同,本文的框架可以裁剪后使用,但行业专用的合规与可靠性结论需要另行验证。
研究范围。 本文关注一个可判定的架构问题:当任务质量、首 token 时延(Time to First Token, TTFT)、token 间时延(Time Between Tokens, TBT)、能耗、货币成本与隐私约束同时存在时,系统应当让什么数据跨过端云边界、以多高的频率跨过、由哪一端拥有最终解释权,以及失败时如何回退。本文的核心论点是:端云协同的架构差异,首先不是“在哪里算”的差异,而是“交换什么”的差异。 执行位置决定资源池,交换粒度决定通信量、隐私面、状态复杂度与故障模式。把这两个问题混为一谈,是许多端云方案在演示环境可行、在生产环境失效的根源。
不在本文范围。 本文不提出新的基础模型、不训练新模型、不发布自采硬件实验数据、不替代安全审计或合规评估。本文不主张某个具体架构在所有场景优于其他架构;相反,本文试图给出“在什么条件下哪一种协同方式更合理”的判据。涉及具体硬件、模型版本、网络条件与商业价格的内容,均标注为假设或待核实项。
核心假设。
- A1(可切分性):拆分推理要求端侧与云侧共享 tokenizer、隐藏表示空间或至少共享可对齐的适配器;不是任意模型都能无损切分。U 型推理还要求输入子模型与输出子模型能够部署在设备侧[1]。
- A2(可观测性):设备算力、内存、温度、电量、网络带宽、往返时延(Round-Trip Time, RTT)、云侧负载与价格能够以请求级或秒级粒度被控制面观测;观测本身有成本,不能假设完全信息。
- A3(可分级性):请求的数据敏感等级可以由用户声明、租户策略或分类器给出;分类器可能出错,因此隐私策略必须保守,并允许人工复核。
- A4(可评估性):任务质量可以由验证器、单元测试、工具执行结果、人工评分或偏好模型近似;不存在适用于所有任务的完美质量评估器,路由与拆分策略的质量估计因此总带有误差。
- A5(平台中立):本文不绑定特定硬件或云服务;文献中的性能数字来自各自的实验条件,不能直接迁移到其他平台。
- A6(证据边界):本文引用的性能数字均来自原论文摘要或首页;本文自己的数值只来自解析公式,且在表格中标注假设。本文不把文献结果包装成自己的实验结论。
1 引言
大语言模型正在从单轮问答走向长程任务执行。一个智能体需要读取上下文、调用工具、维护记忆、在失败后重试,并在多轮交互中保持行为一致。与此同时,端侧芯片能够运行十亿级参数模型,云端能够运行数百亿甚至更大规模的模型,边缘节点则提供了介于两者之间的算力与网络位置。能力供给变多了,架构选择却没有自动变清晰:哪些请求留在端侧,哪些上云,哪些需要把一次推理拆成两段,哪些只需要交换少量草稿 token,哪些必须让两端各自持有文档并在输出空间聚合。每一个选择都同时改变质量、时延、能耗、成本与隐私,而不是只改变其中一个。
三个常见的工程直觉都不完整。第一,“端侧一定更快”只在短请求、热缓存、设备未被热节流时成立;长提示词的预填充、冷启动、模型换入换出都可能让端侧更慢。第二,“拆分一定更隐私”只对原始文本暴露成立;隐藏态是高维表示,可能被用于重建或推断输入,拆分还会暴露通信时序、张量形状与模型版本等元数据。第三,“云端更强所以全云最优”忽略尾延迟、带宽成本、离线可用性与数据合规;在弱网或隐私敏感场景,全云可能直接不可用。现有综述已经从边缘智能、端侧模型、边云协同计算与智能体系统等角度描绘了这些挑战[3-9],但“什么时候该用哪一种协同方式”仍然缺少一个统一的、可判定的分析框架。
文献的碎片化加剧了这个问题。模型压缩方向研究如何把模型放进设备[13-17];拆分推理方向研究把模型切在何处、如何调度[10-12];推测解码方向研究如何用草稿模型减少目标模型的串行步数[18, 31, 32];双端检索方向研究如何在文档隔离条件下聚合证据[2];边缘-云系统方向研究资源管理、通信协议与部署[4-9]。每一项工作都在自己的实验条件下报告收益,但这些收益不可直接横向比较:测试床、网络、模型、批量大小、基线、质量指标都不同。一个架构师真正需要的不是“某个方法在某个测试床上快了多少”,而是“在我的约束下,哪一类协同在原理上可行,哪一类会被通信或隐私成本吃掉”。
本文的视角是把端云协同拆成四个决策变量与五个约束维度。四个决策变量是:在哪里算(设备、边缘、云或混合)、交换什么粒度(任务、token、状态或证据)、谁拥有状态权威(设备、云或版本化共识)、何时回退(正常、降级、离线、恢复)。五个约束维度是质量、时延、能耗、货币成本与隐私。本文提出五层分析框架 DCA-5L(Device-Cloud Architecture, 5 Layers),把设备执行、模型协同、状态数据、协同控制与可信治理放在同一张图上,并用它来比较不同协同粒度的代价边界。DCA-5L 不是又一个命名系统,而是一个分析透镜:它不规定某个调度算法,而是要求架构师显式回答“交换什么、为什么、代价由谁承担”。
本文的贡献如下。
- 视角贡献:提出“交换粒度优先”的端云协同分析视角,把架构分为任务级、token 级、状态级与证据级四类,并说明执行位置相同、交换粒度不同会导致数量级不同的通信、隐私与故障后果。
- 形式化贡献:建立包含质量、时延、能耗、成本与隐私的五维约束优化模型,推导通信放大比、拆分盈亏平衡条件、推测解码加速上界与隐私非单调性等可判定性质。
- 工程贡献:总结十类端云协同反模式,给出覆盖离线、弱网、长文档、隐私敏感、多步智能体与高吞吐低成本的场景决策矩阵,以及可复现的评测协议。
- 证据贡献:汇总可验证文献的关键结果,明确区分“原文报告”与“本文分析”,不报告未经验证的实验数字,并列出需要后续实测的缺口。
本文余下部分的安排如下。第 2 章按技术流派回顾相关工作,并在每节末尾说明与本文的差异。第 3 章给出问题形式化、DCA-5L 架构、四种协同粒度、关键机制与理论性质。第 4 章给出评测协议、文献证据汇总、解析性评估、消融设计与失败模式。第 5 章讨论适用边界、工程反模式、伦理与经济影响。第 6 章总结并给出可执行的未来工作。
2 相关工作
2.1 端侧模型、压缩与本地运行时
端侧模型方向回答的是“设备能不能跑、能跑多好”。本文把参数规模较小、可部署在设备侧的模型称为小语言模型(Small Language Model, SLM)。MobileLLM-Pro 给出了一个十亿参数级的端侧模型:支持最长 128k token 的上下文,采用四阶段预训练、隐式位置蒸馏、专家模型合并与 4-bit 量化感知训练;原文称其在 11 个基准上取得该规模下的领先结果[15]。MiniLLM 从知识蒸馏角度研究如何把大模型的能力迁移到小模型,采用 on-policy 蒸馏而非单纯的离线模仿[16];知识蒸馏综述则系统整理了 logits 蒸馏、特征蒸馏与生成式蒸馏等路线[17]。在内存受限的场景,LLM in a flash 把模型参数放在闪存中、按需加载到动态随机存取存储器(Dynamic Random Access Memory, DRAM),通过窗口化与行列打包把推理延迟压到可用范围,并在半内存条件下报告了最高 4 倍(中央处理器,Central Processing Unit, CPU)与 20 倍(图形处理器,Graphics Processing Unit, GPU)的加速[13]。PowerInfer 利用大模型神经元激活的幂律分布,把“热神经元”预加载到消费级 GPU、把“冷神经元”放在 CPU 计算,在单张 RTX 4090 上相对 llama.cpp 报告最高 11.69 倍加速,并让 OPT-30B 达到 A100 约 82% 的 token 生成率[14]。EdgeMoE 则针对混合专家(Mixture-of-Experts, MoE)模型,把非专家权重放在设备内存、专家权重放在外部存储并按激活取回,以存储层次换内存与算力效率[12]。TinyML 综述[33]从微控制器与物联网角度补充了端侧机器学习的约束;面向中小企业的端侧 LLM 讨论[34]则梳理了该场景下的挑战与机会。
这些工作明显拓宽了端侧可运行的模型边界,但它们主要优化“单端供给”,不直接回答“一次请求应该在端云之间如何分工”。一个压缩后的端侧模型既可以是本地兜底,也可以是云端大模型的草稿模型,还可以是拆分推理的输入/输出子模型;同一条压缩技术在不同架构中扮演不同角色。本文把压缩与端侧运行时视为改变可行域的“供给侧参数”,而不是架构本身。与本文最直接的区别是:我们不以某个端侧模型的基准分数为核心,而是分析端侧能力变化如何移动拆分、路由与回退的盈亏平衡点。
2.2 拆分推理与协同执行
拆分推理把一次模型前向过程切到两端或多端执行。SplitLLM 在服务器与客户端之间做模型放置与吞吐优化,用动态规划在满足服务等级协议(Service Level Agreement, SLA)的前提下分配计算,报告了约三分之一的服务器负载下降,并相对贪心方法提升 19%[10]。EdgeShard 把 LLM 切成多个分片部署到分布式边缘设备与云服务器,联合选择设备与切分点,在异构物理原型上报告最高 50% 的时延下降与 2 倍吞吐提升[11]。HAT 把 U 型推理与推测解码结合:输入子模型与输出子模型放在设备侧,中间大部分解码层放在云侧,设备侧再用轻量适配器组成草稿小模型;设备与云之间交换隐藏态而非原始 token,并用提示词分块把长提示词的传输与计算重叠起来。在其由 30 台 NVIDIA Jetson 与 8 张 A6000 组成的测试床上,HAT 相对基线报告 TTFT 降低 41%–54%、TBT 降低 41%–77%[1]。CiTer 进一步把协同粒度推到 token 级,用 token 级路由决定哪些解码步骤需要云端参与[21];Hao 等人的混合 SLM/LLM 框架[19]、Oh 等人的不确定性感知混合推理[20]也从不同角度研究了端侧小模型与云端大模型的动态配合。
隐私拆分方向进一步研究了无线拆分推理中的双向隐私[22]、在中间表示上加入本地差分隐私噪声的 Split-and-Denoise[23],以及面向云侧生成式 AI 的 Lambda-Split[24]。这些工作说明拆分可以与隐私增强技术组合,但也说明保护强度取决于具体协议、噪声预算与攻击模型;拆分本身不是隐私保证。上述工作证明了拆分与协同可以带来实际收益,但也暴露了三个共同问题。第一,拆分点与通信量强耦合:隐藏态的字节数远大于 token,长提示词会把预填充阶段的通信放大到秒级甚至十秒级。第二,拆分假设模型族兼容或表示空间可对齐;当端云模型版本不一致时,隐藏态可能无法直接使用。第三,隐私收益常被默认成立,但拆分只是把“原始文本暴露”换成了“表示暴露”,并不自动等于形式化隐私保证。本文与这些工作的区别在于:我们不追求再提出一个切分算法,而是把“交换什么粒度”作为第一变量,比较任务级、token 级、状态级与证据级协同的代价边界,并把状态一致性与隐私面纳入同一个分析框架。
2.3 推测解码与 token 级协同
推测解码用小模型或额外解码头生成若干草稿 token,再由目标模型并行验证,从而把多次串行解码压缩为一次验证[18]。Medusa 在目标模型上增加多个解码头,减少独立草稿模型的开销,并用树形验证提高接受长度[31];Eagle 通过特征层知识蒸馏训练自回归头,提高草稿与目标分布的对齐程度[32]。在端云场景中,HAT 把设备侧草稿模型与云侧目标模型配对,用推测解码减少设备与云之间的通信轮次[1];CiTer 则把“哪些 token 需要云端验证”本身作为路由决策[21]。
推测解码的收益取决于三个量:草稿接受率、草稿成本与验证成本。接受率越高、草稿越便宜、验证越能并行,收益越大。端云协同引入第四个量:通信成本。设备侧草稿、云侧验证的架构,每一轮都要把草稿 token 或隐藏态送过网络;如果草稿长度太短,通信轮次多;如果草稿长度太长,接受率随长度衰减,浪费草稿计算。本文把推测解码视为 token 级协同的一个特例,并在第 3.6 节给出包含网络时延的加速上界与最优草稿长度的定性条件。与只报告加速比的工作不同,我们更关心“在什么网络条件下,推测解码仍然值得做”,以及“它交换的是 token 还是隐藏态”对隐私与通信的不同影响。
2.4 双端检索、状态与记忆协同
智能体负载通常是有状态的:同一会话共享上下文、KV cache、工具权限、未完成副作用与长期记忆。CONCORD 研究了文档隔离下的双端检索增强生成(Retrieval-Augmented Generation, RAG):私有文档留在设备、公共知识留在云端,两端不能交换原始文档,只能在输出空间聚合证据。CONCORD 把云端视为异步到达的证据源,用“等待债务”控制每一步是否继续等待远端,用“证书引导的最小补充”只请求可能改变当前贪心决策的证据;在 Natural Questions 与 WikiText-2 上,它相对 DRAGON 报告了 1.66 倍与 2.15 倍的端到端吞吐提升,并把每 token 通信降低两个数量级以上,同时保持可比的答案质量与困惑度[2]。在记忆治理方面,Forget to Improve 研究了端侧 LLM 智能体的持续学习:记忆受随机存取存储器(Random Access Memory, RAM)与能量预算硬约束,系统按“每字节净价值”决定保留、分享与信任,报告了 2.7 倍内存下降、2.4 倍上行通信下降,并把注入攻击成功率从 0.75 降到零(以上均为原文摘要报告)[27]。在服务侧,vLLM 的 PagedAttention[28]、Orca 的持续批处理[29]与 Sarathi-Serve 的吞吐-延迟权衡[30]解决了 KV cache 的分页、调度与批处理问题;EdgeMoE 则把 MoE 专家权重的存储层次延伸到设备外部存储[12]。
这些工作揭示了端云协同中最容易被低估的部分:状态。大多数推理论文假设请求彼此独立、会话无状态;智能体负载却要求跨请求保留 KV cache、记忆与工具账本。状态一旦分散在两端,就会出现版本漂移、缓存过期、重复执行与隐私残留。本文把状态与数据放在 DCA-5L 的第三层,并把“状态权威”提升为与执行位置并列的决策变量。与 CONCORD 或 Forget to Improve 相比,本文不设计新的聚合或记忆算法,而是给出一个统一的架构视角,说明证据级协同与状态级协同分别适合什么条件,以及它们如何与任务级、token 级协同组合。
2.5 边缘-云系统、调度与综述
系统与综述方向提供了更宏观的地图。Edge-Cloud Collaborative Computing 综述从架构、通信协议、网络感知计算、模型压缩与自适应、隐私安全等角度整理了边云协同计算[4];Mobile Edge Intelligence for LLMs 综述给出 MEI4LLM 架构,覆盖边缘 LLM 缓存与分发、边缘训练与边缘推理[5];Edge LLM 综述按“资源高效模型设计—部署前策略—运行时推理优化—应用”梳理了端侧 LLM 生命周期[6];On-Device AI 综述系统整理了端侧模型、压缩、编译与部署[7];GenAI at the Edge 综述从生成式人工智能在边缘的使能技术出发,覆盖模型、系统与应用[8];面向移动与嵌入式设备的智能体 AI 综述则把弹性推理、测试时自适应、动态多模态集成与应用驱动优化纳入统一分类[9]。Apple Intelligence 的端云分层是产业界的一个代表性案例[26]:简单请求在设备端处理,复杂请求交给云端模型。最接近本文主题的是 Edge SLM 与 Cloud LLM 协同综述:它把协同策略分为任务分配、任务划分与混合式协同,覆盖自适应调度、资源感知卸载、推测解码与模块化路由,并讨论了分布式适配、剪枝、双向蒸馏与小模型引导优化[3]。
这些综述为本文提供了丰富的背景,但它们的组织方式多是“技术地图”或“系统分层”,而不是“决策边界”。本文的差异在于三点。第一,我们以交换粒度而不是技术名称作为第一分类轴,因此能把“拆分推理”“推测解码”“双端 RAG”“级联路由”放在同一张代价表上比较。第二,我们给出可判定的盈亏平衡条件与通信放大比,而不是只描述技术。第三,我们系统总结工程反模式,并把“原文报告的结果”与“本文的分析结论”分开,避免把不同测试床的数字拼成一张不可比的排行榜。
2.6 与最近邻工作的分账
已有端云协同工作大致可以分为四类:以模型为中心(压缩、蒸馏、端侧运行时)、以切分为中心(层切分、U 型推理、边缘分片)、以解码为中心(推测解码、token 路由)、以状态为中心(双端 RAG、记忆治理、KV cache 调度)。本文不替代其中任何一类,而是提供一个跨类的分析框架。与“从 0 到 1 构建端云协同架构”一类工作相比,本文不讨论归属契约的冻结过程,也不给出新的构建序;本文聚焦于一个更窄但更基础的问题:当归属已经确定时,交换什么粒度会让架构变得可行或不可行。 与综述相比,本文不追求覆盖所有论文,而是选择能说明代价边界的代表性工作,并把未核实之处明确标出。
3 方法:DCA-5L 分析框架
3.1 问题形式化
3.1.1 符号与决策变量
表 1 给出本文使用的符号。我们把一次请求记为
x
x
x,把输出记为
y
y
y,把设备、网络、云与会话状态分别记为
d
,
n
,
c
,
s
d,n,c,s
d,n,c,s。一个执行计划
π
\\pi
π 由四个决策变量组成:执行位置
r
r
r、交换粒度
g
g
g、切分层
ℓ
\\ell
ℓ(仅状态级协同需要)、草稿长度
k
k
k(仅 token 级协同需要),以及状态同步策略
σ
\\sigma
σ 与回退策略
ρ
\\rho
ρ。
|
x x x |
请求输入 | 提示词、工具上下文、会话历史 |
|
y y y |
输出序列 | 文本、工具调用、结构化结果 |
|
d d d |
设备能力画像 | 算力、内存、带宽、电量、热约束 |
|
n n n |
网络状态 | 上行/下行带宽、RTT、抖动、丢包、计费 |
|
c c c |
云侧状态 | 模型版本、负载、价格、区域 |
|
s s s |
会话状态 | KV cache、语义记忆、检索索引、权限 |
|
π \\pi π |
执行计划 |
( r , g , ℓ , k , σ , ρ ) (r,g,\\ell,k,\\sigma,\\rho) (r,g,ℓ,k,σ,ρ) |
|
r r r |
执行位置 | 设备、边缘、云、混合 |
|
g g g |
交换粒度 | 任务、token、状态、证据 |
|
ℓ \\ell ℓ |
切分层 | 状态级协同的切分点 |
|
k k k |
草稿长度 | token 级协同的草稿 token 数 |
|
q q q |
证据预算 | 双端 RAG 的检索/证据传输预算 |
|
σ \\sigma σ |
状态同步策略 | 检查点、增量、失效、重放 |
|
ρ \\rho ρ |
回退策略 | 重试、降级、离线、补偿 |
|
Q , T , E , C , R Q,T,E,C,R Q,T,E,C,R |
质量、时延、能耗、货币成本、隐私风险 | 五个约束维度 |
|
λ T , λ E , λ C , λ P \\lambda_T,\\lambda_E,\\lambda_C,\\lambda_P λT,λE,λC,λP |
权重 | 将各维度折算为效用 |
3.1.2 约束优化目标
给定请求分布
X
\\mathcal{X}
X,架构师希望选择一个计划
π
\\pi
π,使期望效用最大:
π
⋆
=
arg
max
π
∈
Π
E
x
∼
X
[
Q
π
(
x
)
−
λ
T
T
π
(
x
)
−
λ
E
E
π
(
x
)
−
λ
C
C
π
(
x
)
−
λ
P
R
π
(
x
)
]
\\pi^\\star = \\arg\\max_{\\pi \\in \\Pi} \\; \\mathbb{E}_{x \\sim \\mathcal{X}} \\left[ Q_\\pi(x) – \\lambda_T T_\\pi(x) – \\lambda_E E_\\pi(x) – \\lambda_C C_\\pi(x) – \\lambda_P R_\\pi(x) \\right]
π⋆=argπ∈ΠmaxEx∼X[Qπ(x)−λTTπ(x)−λEEπ(x)−λCCπ(x)−λPRπ(x)]
并满足服务等级目标(Service Level Objective, SLO)、设备内存、网络带宽与隐私策略约束:
T
π
99
(
x
)
≤
T
S
L
O
,
M
π
(
d
)
≤
M
d
,
B
π
(
n
)
≤
B
n
,
π
⊨
P
T_\\pi^{99}(x) \\le T_{\\mathrm{SLO}}, \\qquad M_\\pi(d) \\le M_d, \\qquad B_\\pi(n) \\le B_n, \\qquad \\pi \\models \\mathcal{P}
Tπ99(x)≤TSLO,Mπ(d)≤Md,Bπ(n)≤Bn,π⊨P
其中
T
π
99
T_\\pi^{99}
Tπ99 是第 99 百分位时延,
M
π
(
d
)
M_\\pi(d)
Mπ(d) 是计划在设备上的峰值内存,
B
π
(
n
)
B_\\pi(n)
Bπ(n) 是计划占用的网络带宽,
π
⊨
P
\\pi \\models \\mathcal{P}
π⊨P 表示计划满足隐私策略。
Q
π
Q_\\pi
Qπ 可以是任务准确率、pass@1、工具调用成功率、人工评分或偏好模型得分;
R
π
R_\\pi
Rπ 是隐私风险的规划启发式,不是形式化隐私证明。本文反复强调这一点:架构层面的“隐私风险”只能用于排序与准入,不能替代差分隐私、密码学协议或安全审计。
3.1.3 时延分解
不同协同粒度的时延结构不同。令
b
t
b_t
bt 为一个 token 的字节数,
b
h
b_h
bh 为一个隐藏态的字节数,
B
u
p
,
B
d
o
w
n
B_{\\mathrm{up}},B_{\\mathrm{down}}
Bup,Bdown 分别为上行与下行有效带宽。纯云端执行的时延可以写成:
T
c
l
o
u
d
=
T
e
n
c
+
∣
x
∣
b
t
B
u
p
+
T
p
r
e
f
i
l
l
c
l
o
u
d
(
∣
x
∣
)
+
T
d
e
c
o
d
e
c
l
o
u
d
(
∣
y
∣
)
+
∣
y
∣
b
t
B
d
o
w
n
T_{\\mathrm{cloud}} = T_{\\mathrm{enc}} + \\frac{|x| b_t}{B_{\\mathrm{up}}} + T_{\\mathrm{prefill}}^{\\mathrm{cloud}}(|x|) + T_{\\mathrm{decode}}^{\\mathrm{cloud}}(|y|) + \\frac{|y| b_t}{B_{\\mathrm{down}}}
Tcloud=Tenc+Bup∣x∣bt+Tprefillcloud(∣x∣)+Tdecodecloud(∣y∣)+Bdown∣y∣bt
纯设备端执行没有网络项:
T
d
e
v
=
T
p
r
e
f
i
l
l
d
e
v
(
∣
x
∣
)
+
T
d
e
c
o
d
e
d
e
v
(
∣
y
∣
)
T_{\\mathrm{dev}} = T_{\\mathrm{prefill}}^{\\mathrm{dev}}(|x|) + T_{\\mathrm{decode}}^{\\mathrm{dev}}(|y|)
Tdev=Tprefilldev(∣x∣)+Tdecodedev(∣y∣)
在状态级 U 型拆分中,设备执行输入子模型,云端执行中间层,设备再执行输出子模型。预填充阶段需要把提示词的隐藏态上行到云、再把中间结果下行到设备;解码阶段每个 token 都要往返一次。其理想化时延为:
T
s
p
l
i
t
(
ℓ
)
=
T
d
e
v
,
i
n
(
∣
x
∣
)
+
∣
x
∣
b
h
B
u
p
+
T
c
l
o
u
d
,
m
i
d
(
∣
x
∣
)
+
∣
x
∣
b
h
B
d
o
w
n
+
∣
y
∣
(
T
d
e
v
,
o
u
t
+
b
h
B
u
p
+
T
c
l
o
u
d
,
m
i
d
(
1
)
+
b
h
B
d
o
w
n
)
T_{\\mathrm{split}}(\\ell) = T_{\\mathrm{dev,in}}(|x|) + \\frac{|x| b_h}{B_{\\mathrm{up}}} + T_{\\mathrm{cloud,mid}}(|x|) + \\frac{|x| b_h}{B_{\\mathrm{down}}} + |y| \\left( T_{\\mathrm{dev,out}} + \\frac{b_h}{B_{\\mathrm{up}}} + T_{\\mathrm{cloud,mid}}(1) + \\frac{b_h}{B_{\\mathrm{down}}} \\right)
Tsplit(ℓ)=Tdev,in(∣x∣)+Bup∣x∣bh+Tcloud,mid(∣x∣)+Bdown∣x∣bh+∣y∣(Tdev,out+Bupbh+Tcloud,mid(1)+Bdownbh)
这个式子忽略了分块重叠、流水线并行、压缩与重传。分块可以把传输与计算重叠,但不会减少总字节数;压缩可以减少字节数,但会增加编解码计算与精度损失。HAT 的提示词分块正是利用重叠来降低有效时延,而不是消除通信量[1]。
在 token 级推测解码中,设备侧草稿模型先生成
k
k
k 个草稿 token,云端目标模型并行验证。若每个草稿 token 的接受概率为
α
\\alpha
α 且近似独立,则一轮期望接受的 token 数为:
E
[
A
(
k
)
]
=
1
−
α
k
+
1
1
−
α
\\mathbb{E}[A(k)] = \\frac{1-\\alpha^{k+1}}{1-\\alpha}
E[A(k)]=1−α1−αk+1
一轮耗时为草稿、验证与通信之和:
T
r
o
u
n
d
(
k
)
=
k
T
d
r
a
f
t
+
T
v
e
r
i
f
y
+
T
c
o
m
m
T_{\\mathrm{round}}(k) = k T_{\\mathrm{draft}} + T_{\\mathrm{verify}} + T_{\\mathrm{comm}}
Tround(k)=kTdraft+Tverify+Tcomm
相对于纯云端逐 token 解码的加速比为:
S
(
k
)
=
E
[
A
(
k
)
]
T
t
a
r
g
e
t
k
T
d
r
a
f
t
+
T
v
e
r
i
f
y
+
T
c
o
m
m
S(k) = \\frac{\\mathbb{E}[A(k)] \\, T_{\\mathrm{target}}}{k T_{\\mathrm{draft}} + T_{\\mathrm{verify}} + T_{\\mathrm{comm}}}
S(k)=kTdraft+Tverify+TcommE[A(k)]Ttarget
其中
T
t
a
r
g
e
t
T_{\\mathrm{target}}
Ttarget 是云端目标模型生成一个 token 的时间。这个模型是理想化的:真实接受率与草稿长度、上下文、任务类型相关,树形验证也会改变常数项。但它足以说明一个关键权衡:草稿越长,单轮通信越容易被摊薄,但期望接受 token 数的边际收益递减;当通信成本很高时,最优草稿长度会变大,但不会无限变大。
3.1.4 状态一致性与隐私风险
智能体会话不是无状态请求。设会话状态项
s
i
s_i
si 有一个权威版本
v
i
v_i
vi 与若干副本
s
i
(
k
)
s_i^{(k)}
si(k)。我们要求副本的陈旧度不超过阈值:
s
t
a
l
e
n
e
s
s
(
s
i
(
k
)
,
s
i
)
≤
Δ
max
,
r
e
c
o
n
c
i
l
e
(
s
i
(
k
)
,
s
i
)
∈
S
s
a
f
e
\\mathrm{staleness}\\left(s_i^{(k)}, s_i\\right) \\le \\Delta_{\\max}, \\qquad \\mathrm{reconcile}\\left(s_i^{(k)}, s_i\\right) \\in \\mathcal{S}_{\\mathrm{safe}}
staleness(si(k),si)≤Δmax,reconcile(si(k),si)∈Ssafe
其中
S
s
a
f
e
\\mathcal{S}_{\\mathrm{safe}}
Ssafe 是允许的调和结果集合。调和可以是重放(从检查点重新计算 KV cache)、失效(丢弃副本并重算)、合并(对语义记忆做冲突消解)或补偿(对工具副作用执行反向操作)。这个约束看起来抽象,但它对应一个很具体的工程问题:当设备离线写入了记忆、云端同时更新了同一条记忆,恢复后以谁为准?如果没有版本向量与调和规则,系统只能退化为最后写入胜,而最后写入胜会丢失更新。
隐私风险用泄漏面加权和近似:
R
π
=
∑
z
∈
L
(
π
)
w
z
⋅
s
e
n
s
(
z
)
⋅
a
t
t
a
c
k
(
z
)
R_\\pi = \\sum_{z \\in \\mathcal{L}(\\pi)} w_z \\cdot \\mathrm{sens}(z) \\cdot \\mathrm{attack}(z)
Rπ=z∈L(π)∑wz⋅sens(z)⋅attack(z)
其中
L
(
π
)
\\mathcal{L}(\\pi)
L(π) 是计划
π
\\pi
π 下跨信任边界的数据类型集合,包括原始文本、token、隐藏态、KV cache、logits、梯度与元数据;
w
z
w_z
wz 是暴露权重,
s
e
n
s
(
z
)
\\mathrm{sens}(z)
sens(z) 是数据敏感度,
a
t
t
a
c
k
(
z
)
\\mathrm{attack}(z)
attack(z) 是在给定攻击模型下的可攻击性。这个式子的价值不在于精确计算风险,而在于强迫架构师列出泄漏面。拆分把原始文本从泄漏面里拿掉,却把隐藏态放进泄漏面;如果隐藏态可被重建,净隐私收益可能远小于预期。 本文不声称所有隐藏态都可被高保真重建,也不声称拆分没有隐私价值;本文只主张:在没有明确攻击模型的情况下,“拆分等于隐私”不是一个可接受的架构论证。
3.2 DCA-5L 总体架构
DCA-5L 把端云协同分为五层,外加一个跨层的网络与可观测性约束。图 1 给出分层示意。
┌──────────────────────────────────────────────────────────────────────┐
│ L5 可信治理层 │
│ 身份 / 用户同意 / 数据分类 / 隐私预算 / 审计 / 模型溯源 / 安全护栏 │
├──────────────────────────────────────────────────────────────────────┤
│ L4 协同控制层 │
│ 任务规划 / 路由 / 切分决策 / SLO 管理 / 准入控制 / 回退 / 在线校准 │
├──────────────────────────────────────────────────────────────────────┤
│ L3 状态与数据层 │
│ KV Cache / 语义记忆 / 检索索引 / 版本向量 / 同步 / 失效 / 重放 │
├──────────────────────────────────────────────────────────────────────┤
│ L2 模型协同层 │
│ 任务级路由与级联 / Token 级推测解码 / 状态级拆分 / 证据级双端 RAG │
├──────────────────────────────────────────────────────────────────────┤
│ L1 设备执行层 │
│ NPU / CPU / GPU / 运行时 / 量化 / 算子融合 / 功耗与热管理 │
└──────────────────────────────────────────────────────────────────────┘
▲ 跨层约束:网络带宽、RTT、抖动、丢包、计费、可观测性 ▲
图 1:DCA-5L 五层参考架构。 网络与可观测性不是单独一层,而是贯穿五层的约束;任何一层的决策都必须回答“这个选择在目标网络与可观测条件下是否仍然成立”。图中 NPU 指神经网络处理器(Neural Processing Unit);CPU 与 GPU 分别为中央处理器与图形处理器。
各层的职责与产物如下。
| L5 可信治理 | 把隐私、合规、安全与模型来源变成可执行策略 | 策略标签、审计记录、隐私预算、模型清单 | 合规失败、数据越界、不可追责 |
| L4 协同控制 | 在运行时选择计划并处理异常 | 执行计划、SLO 决策、回退轨迹 | 尾延迟、错误路由、雪崩 |
| L3 状态与数据 | 维护会话状态与数据的一致性 | 版本向量、KV cache 检查点、记忆条目 | 重复执行、上下文矛盾、缓存污染 |
| L2 模型协同 | 实现任务、token、状态、证据四类协同 | 草稿 token、隐藏态、证据证书、路由结果 | 质量下降、通信放大、隐私泄漏 |
| L1 设备执行 | 把模型与算子落到异构硬件 | 量化权重、算子图、功耗/热画像 | 内存溢出、热节流、能效崩溃 |
边缘节点被视为 L1 的可选扩展执行位置:当边缘具备模型服务能力时,它替代或补充设备执行;DCA-5L 不为边缘单列一层,以避免层数与部署拓扑耦合。DCA-5L 的控制循环是“观测—估计—规划—执行—验证—更新”。控制面在每个请求或每个会话阶段观测设备、网络、云与会话状态,估计任务难度、不确定性、隐私等级与资源余量,然后从候选计划集合中选择一个满足约束的计划。执行过程中,控制器监控 TTFT、TBT、错误率、热节流与状态陈旧度;一旦违反 SLO 或出现故障,就切换到回退计划。执行结束后,控制器把结果、时延、能耗、接受率与用户反馈写入观测存储,用于校准路由与切分模型。
这个循环的关键不是“有一个调度器”,而是每一层都有明确的契约。L5 定义哪些数据可以跨边界;L4 定义在什么条件下选择哪种粒度;L3 定义状态的权威版本与调和规则;L2 定义交换对象的格式与语义;L1 定义设备能力的真实上界。缺少任何一层,架构都会在某个边界条件下失效。例如,只有 L2 的切分算法而没有 L3 的状态版本,系统会在多轮会话中读到过期的 KV cache;只有 L4 的路由而没有 L5 的隐私标签,系统会把敏感请求送到错误的执行端。
3.3 四种协同粒度
本文把端云协同分为四类,分类轴是“跨边界交换的对象”,而不是“使用了什么算法”。表 2 给出对比。
| 任务级 | 任务、文本、摘要 | 路由、级联、任务卸载 | 低 | 原始文本或摘要 | 受路由准确率限制 | 请求同质、网络稳定、质量优先 | 路由错误、尾延迟 |
| Token 级 | token、logits、草稿 | 推测解码、token 路由 | 中低 | token 级内容 | 接近目标模型 | 端侧有可用草稿模型 | 接受率低、通信轮次多 |
| 状态级 | 隐藏态、KV cache、激活 | 拆分推理、U 型推理、边缘分片 | 高 | 表示层 | 可达目标模型 | 高隐私需求、高带宽、模型兼容 | 通信放大、表示泄漏、版本漂移 |
| 证据级 | 文档 ID、证据、证书 | 双端 RAG、异步聚合 | 低到中 | 文档内容与元数据 | 取决于证据覆盖 | 文档隔离、公共/私有知识分离 | 元数据泄漏、证据不完整 |
3.3.1 任务级协同:路由与级联
任务级协同把一次请求整体分配到一个执行端,或者在多个模型之间做级联。它的交换对象是任务描述、上下文摘要或最终答案,通信量最小,工程复杂度最低。路由器根据提示词长度、任务类型、检索需求、工具数量、模型不确定性、设备状态、网络 RTT、云端价格与隐私标签,估计每个候选端的质量、时延、成本与风险,然后选择一个计划。级联则先让便宜的一端尝试,置信度不足时再升级到更强的一端。
任务级协同的主要误差源是路由错误。平均准确率高的路由器,在尾部分布上可能系统性低估困难请求;一旦困难请求被留在端侧,用户看到的是“模型变笨了”,而不是“路由错了”。因此,任务级协同的关键不是训练一个更大的路由器,而是校准:路由器输出的置信度必须与真实成功率对齐,并且在低置信度时允许弃权或升级。对于智能体任务,路由还要考虑工具权限与副作用:一个需要写入企业系统的请求,不能因为端侧模型“看起来会做”就留在端侧。
3.3.2 Token 级协同:推测解码与 token 路由
Token 级协同交换 token、logits 或草稿序列。它比任务级更细,允许两端在同一次生成中交替参与;又比状态级更轻,因为 token 的字节数远小于隐藏态。推测解码是典型代表:设备侧草稿模型生成
k
k
k 个 token,云端目标模型并行验证,接受则前进、拒绝则回退。token 路由则进一步决定“哪些 token 需要云端参与”,把通信从固定轮次变成自适应轮次[21]。
Token 级协同的收益取决于接受率与通信成本的乘积。接受率高、草稿便宜、网络快时,它可以把云端串行解码的步数减少数倍;接受率低或网络慢时,草稿计算与通信往返会吃掉收益。它的隐私暴露面是 token 级内容:草稿 token 可能包含敏感信息,即使最终被拒绝,也已经跨过了边界。因此,token 级协同适合“端侧有可用草稿模型、网络中等、隐私要求不是最高”的场景;对于高敏感数据,仍应优先考虑设备端完成或状态级隔离。
3.3.3 状态级协同:拆分推理与 U 型推理
状态级协同交换隐藏态、KV cache 或中间激活。它允许两端共享一次前向过程的不同层,因此质量上限最高,最接近在云端运行完整模型。U 型推理把输入与输出子模型放在设备侧、把中间层放在云端,既避免原始输入上云,也避免最终输出在云端生成[1]。边缘分片则把模型切到多个边缘设备与云服务器,用分布式资源池降低单点内存压力[11]。
状态级协同的代价是通信。隐藏态的字节数等于隐藏维度乘以元素字节数;对于 4096 维、16-bit 的隐藏态,一个 token 的隐藏态是 8 KiB,往返一次是 16 KiB。相比之下,一个 token 的文本只有 4 B。也就是说,在预填充阶段,状态级协同每处理一个 token,就要交换约 4096 倍于文本的字节数。 这不是实现细节,而是架构级放大。它决定了状态级协同只适合高带宽、短提示词、或者能够把通信与计算充分重叠的场景;对于长提示词与移动网络,它很容易被通信时间主导。
3.3.4 证据级协同:双端 RAG 与文档隔离
证据级协同交换的是证据、文档标识或证据证书,而不是完整模型状态。它适合“私有文档在设备、公共知识在云端”的文档隔离场景:两端各自检索、各自生成候选分布,再在输出空间聚合,或者由一端请求另一端提供最小必要证据[2]。证据级协同的通信量通常远小于状态级,隐私暴露面也更窄,但它引入两个新问题:证据不完整与元数据泄漏。文档 ID、检索模式、请求时序、证书大小都可能泄露“用户在查什么”;即使文档内容不跨边界,元数据也可能跨边界。
证据级协同的质量取决于检索覆盖与聚合策略。如果私有文档与公共知识都包含回答所需的关键证据,输出空间聚合可以接近集中式 RAG;如果关键证据只在一端,另一端只能提供先验,聚合收益有限。CONCORD 的“等待债务”与“最小补充”说明了一个重要设计原则:远端参与应当是异步的、稀疏的、可证明最小必要的,而不是每一步都同步。 这与状态级协同的“每一步都往返”形成鲜明对比。
3.4 关键机制
3.4.1 能力感知路由
路由器是 L4 的核心组件。它的输入包括请求特征、设备画像、网络状态、云侧状态与会话状态;输出是一个计划或一个计划分布。一个可用的路由规则是:
r
⋆
=
arg
max
r
∈
{
d
e
v
,
e
d
g
e
,
c
l
o
u
d
,
h
y
b
r
i
d
}
[
Q
^
r
(
x
)
−
λ
T
T
^
r
(
x
)
−
λ
E
E
^
r
(
x
)
−
λ
C
C
^
r
(
x
)
−
λ
P
R
^
r
(
x
)
]
r^\\star = \\arg\\max_{r \\in \\{\\mathrm{dev},\\mathrm{edge},\\mathrm{cloud},\\mathrm{hybrid}\\}} \\left[ \\hat{Q}_r(x) – \\lambda_T \\hat{T}_r(x) – \\lambda_E \\hat{E}_r(x) – \\lambda_C \\hat{C}_r(x) – \\lambda_P \\hat{R}_r(x) \\right]
r⋆=argr∈{dev,edge,cloud,hybrid}max[Q^r(x)−λTT^r(x)−λEE^r(x)−λCC^r(x)−λPR^r(x)]
并满足 SLO 与隐私约束。这里的帽子表示估计值,不是真实值。路由器的工程难点不在目标函数,而在估计器的校准与分布漂移:设备型号、网络条件、模型版本、用户任务混合比例都会变化,离线训练的路由器在线上可能迅速失效。因此,路由系统需要在线校准、影子流量评估与安全护栏;当置信度低于阈值时,应该选择更保守的计划(例如升级到云端或请求用户确认),而不是强行路由。
3.4.2 自适应切分
状态级协同需要选择切分层
ℓ
\\ell
ℓ。在链式 Transformer 上,如果每层的内存与计算可以前缀累加,切分点可以用前缀和与动态规划在
O
(
L
)
O(L)
O(L) 到
O
(
L
2
)
O(L^2)
O(L2) 时间内求解(取决于代价函数是否可前缀分解):
ℓ
⋆
=
arg
min
ℓ
∈
{
0
,
…
,
L
}
T
s
p
l
i
t
(
ℓ
)
s.t.
M
d
e
v
(
ℓ
)
≤
M
d
,
B
(
ℓ
)
≤
B
n
\\ell^\\star = \\arg\\min_{\\ell \\in \\{0,\\ldots,L\\}} T_{\\mathrm{split}}(\\ell) \\quad \\text{s.t.} \\quad M_{\\mathrm{dev}}(\\ell) \\le M_d, \\; B(\\ell) \\le B_n
ℓ⋆=argℓ∈{0,…,L}minTsplit(ℓ)s.t.Mdev(ℓ)≤Md,B(ℓ)≤Bn
如果模型存在跨层残差、并行分支或多模态融合,切分问题会变成图划分问题,通常是 NP-hard;实际系统只能采用链式近似、启发式搜索或预定义切分点。HAT 的 U 型结构是一个预定义切分:输入与输出子模型在设备、中间层在云;它不追求任意切分,而是用结构约束换取可实现性[1]。SplitLLM 与 EdgeShard 则更接近动态规划/启发式放置[10, 11]。架构师需要明确:切分算法的最优性只在它假设的图结构内成立;一旦模型结构变化,最优切分点可能不再适用。
3.4.3 推测解码与通信轮次
推测解码的端云实现需要决定草稿模型放在哪里。放在设备侧,可以利用本地算力、减少上行 token;放在边缘侧,可以利用更强的草稿模型、减少设备能耗;放在云侧,则退化为云端内部的推测解码,无法降低端云通信。HAT 选择设备侧草稿 + 云侧验证,并用 U 型结构把草稿与验证都放在隐藏态空间,以减少 token 暴露[1]。这是一个有代表性的设计,但它也意味着每一轮都要交换隐藏态,通信量远大于 token 级方案。
推测解码的架构价值在于减少往返次数,而不是减少每次往返的字节数。对于高 RTT 网络,减少往返次数可能比减少字节数更重要;对于高带宽、低 RTT 网络,字节数可能成为主因。架构师应该分别测量 RTT 与带宽,而不是只看“网络快不快”。一个 100 Mbps、RTT 80 ms 的网络,可能比 20 Mbps、RTT 10 ms 的网络更适合 token 级协同,却不一定适合状态级协同。
3.4.4 双端 RAG 与证据证书
双端 RAG 的核心是“在不交换原始文档的前提下,让两端共同决定下一个 token”。CONCORD 的做法是:设备侧与云侧各自持有文档,云端异步返回证据;设备侧用“等待债务”判断继续等待是否值得,用“证书引导的最小补充”只请求可能改变贪心决策的 token 级证据;在证书成功或精确回退时,保持与稠密聚合相同的贪心 token[2]。这个设计的可迁移经验是:证据级协同应该交换“决策所需的最小证据”,而不是“完整的检索结果”。 证书、哈希、摘要、置信区间都可以作为证据的压缩表示;关键是让接收端能够验证证据是否足够,而不是盲目相信发送端。
证据级协同的隐私风险主要在元数据。文档 ID 可能暴露主题,检索时序可能暴露意图,证据大小可能暴露文档长度,证书可能暴露关键词。架构师需要把元数据纳入泄漏面,并用填充、批处理、延迟聚合或隐私预算来降低风险。把“文档内容不跨边界”当成“隐私安全”是不充分的。
3.4.5 状态、记忆与 KV cache
状态层是端云协同中最容易被低估的部分。KV cache 是解码阶段的关键状态:它避免重复计算历史 token 的键值,但也占用大量内存,并且与模型版本、上下文前缀、位置编码强绑定。vLLM 的 PagedAttention 把 KV cache 分页管理,提高显存利用率与吞吐[28];Orca 的持续批处理让请求动态加入/离开批次[29];Sarathi-Serve 在吞吐与延迟之间做权衡[30]。在端侧,LLM in a flash 把参数放在闪存、按需加载[13];EdgeMoE 把专家权重放在外部存储[12]。这些技术解决的是“状态放在哪里、如何取回”,但端云协同还要解决“状态由谁拥有、如何同步、何时失效”。
一个实用的状态设计包含四个要素。第一,权威副本:每个状态项必须有一个明确的权威端,不能两端都自称最新。第二,版本向量:每次更新带版本,副本可以判断自己是否落后。第三,调和规则:落后时是重放、失效、合并还是补偿;不同状态项适用不同规则。第四,检查点:长会话定期生成可恢复的检查点,避免故障后从头计算。对于工具副作用,还需要幂等键与补偿事务;LLM 生成的重试可能重复下单、重复发邮件,状态层必须与工具层协同。
3.4.6 设备运行时与能效
设备执行层不是“把云端模型缩小后跑在 NPU 上”这么简单。端侧芯片通常是片上系统(System on Chip, SoC),集成 CPU、GPU、NPU 与内存控制器;其峰值算力常用每秒万亿次操作(Tera Operations Per Second, TOPS)表示。端侧硬件的瓶颈可能是内存带宽、算子支持、热设计或电池,而不是峰值算力。MobileLLM-Pro 的四位量化感知训练说明,端侧模型需要在训练阶段就考虑部署精度与长上下文[15];LLM in a flash 说明,当模型大于 DRAM 时,闪存读取带宽会成为主瓶颈[13];PowerInfer 说明,利用激活稀疏性可以把部分计算放在 CPU,降低 GPU 显存压力[14];EdgeMoE 说明,MoE 的专家权重可以按激活从外部存储取回[12]。这些工作共同指向一个结论:端侧能效是内存层次、算子映射与热约束的联合结果,不能用单一 TOPS 数字概括。
一个规划用的能耗模型可以写成:
E
π
=
P
d
e
v
T
d
e
v
+
P
e
d
g
e
T
e
d
g
e
+
P
c
l
o
u
d
T
c
l
o
u
d
+
P
n
e
t
T
n
e
t
+
ϵ
r
a
d
i
o
S
π
E_\\pi = P_{\\mathrm{dev}} T_{\\mathrm{dev}} + P_{\\mathrm{edge}} T_{\\mathrm{edge}} + P_{\\mathrm{cloud}} T_{\\mathrm{cloud}} + P_{\\mathrm{net}} T_{\\mathrm{net}} + \\epsilon_{\\mathrm{radio}} S_\\pi
Eπ=PdevTdev+PedgeTedge+PcloudTcloud+PnetTnet+ϵradioSπ
其中
S
π
S_\\pi
Sπ 是跨边界传输的字节数,
ϵ
r
a
d
i
o
\\epsilon_{\\mathrm{radio}}
ϵradio 是每字节的无线通信能量。这个模型忽略了无线唤醒、尾能耗与热节流,但足以说明:通信不仅有时延成本,还有能量成本;把计算搬到云端并不等于把能耗降到零。 对于电池供电的可穿戴设备,通信能量可能比本地计算能量更突出;对于插电的个人电脑,云端能耗可能主要体现在电费与散热上。
3.4.7 可靠性与回退
端云协同系统必须在部分组件失效时仍然给出可接受的结果。第 4.8 节的表 6 给出常见故障模式与缓解措施;图 2 给出一个简化的状态机。
┌──────────────┐
│ NORMAL │
│ 正常协同执行 │
└──────┬───────┘
SLO 违反/错误 │ 恢复
┌──────▼───────┐
│ DEGRADED │
│ 降级:缩小模型│
│ 或降低检索预算│
└──────┬───────┘
网络断开/云故障 │ 持续失败
┌──────▼───────┐
│ OFFLINE │
│ 本地兜底/排队│
└──────┬───────┘
网络恢复 │ 状态调和
┌──────▼───────┐
│ RECOVERING │
│ 重放/补偿/校验│
└──────┬───────┘
│ 成功
└──────► NORMAL
图 2:端云协同的降级与恢复状态机。 关键设计点是:降级不是异常处理的临时分支,而是架构的正式状态;离线不是“报错”,而是有明确语义的可用性模式;恢复不是“重试”,而是包含状态调和与副作用补偿的过程。
3.5 训练与推断流程
3.5.1 训练阶段的架构约束
端云协同的很多性能边界在训练阶段就被决定了。隐藏维度决定隐藏态通信量;层数与注意力结构决定可切分性;量化方案决定端侧内存与精度;蒸馏目标决定小模型与云模型的分布对齐程度;适配器结构决定端云表示空间是否兼容。MiniLLM 的 on-policy 蒸馏说明,小模型不仅要在静态数据上模仿大模型,还要在自身生成分布上接受大模型反馈[16];知识蒸馏综述进一步整理了不同蒸馏信号与训练策略[17];MobileLLM-Pro 的量化感知训练说明,端侧部署精度应该进入训练目标,而不是事后补救[15];Split-and-Privatize 则研究了在拆分学习中用私有数据微调端侧子模型,同时保护隐私[25]。
因此,“通信感知的模型设计”是一个值得研究的方向:在模型结构搜索或蒸馏阶段,就把隐藏态大小、层间可切分性、端侧内存与网络预算纳入目标函数。当前多数工作先训练模型、再设计协同架构,这会把通信成本留到部署阶段才暴露;如果模型在训练时就考虑端云边界,可能出现更适合协同的架构(例如更小的隐藏维度、更规整的层结构、可缓存的模块化专家)。
3.5.2 推断控制算法
算法 1 给出 DCA-5L 控制器的伪代码。它不是某个具体产品的实现,而是一个可映射到工程系统的决策流程。
Algorithm 1: DCA-5L 协同控制器
输入: 请求 x, 设备画像 d, 网络状态 n, 云状态 c, 会话状态 s, 策略 P
输出: 响应 y, 执行轨迹 trace
1. 观测 d, n, c, s;读取隐私标签与 SLO
2. 估计任务难度、不确定性、检索需求与工具副作用风险
3. 生成候选计划集合 Π = {任务级, token级, 状态级, 证据级} × {设备, 边缘, 云}
4. for each π in Π:
5. 预测 Qπ, Tπ, Eπ, Cπ, Rπ
6. 过滤不满足 SLO、内存、带宽与隐私约束的计划
7. 选择效用最大的 π*
8. 执行 π*,流式返回 token,监控 TTFT/TBT/错误率/热节流
9. if 违反 SLO 或发生故障:
10. 切换到回退计划 ρ(π*),记录降级原因
11. 执行结束后,更新状态 s,写入 trace
12. 用 trace 校准路由与代价模型;必要时触发人工复核
这个算法有两个容易被忽视的点。第一,候选计划集合必须包含“什么都不做”或“请求用户确认”的选项;对于高风险工具调用,最优计划可能是暂停,而不是换一个模型重试。第二,预测器
Q
^
,
T
^
,
E
^
,
C
^
,
R
^
\\hat{Q},\\hat{T},\\hat{E},\\hat{C},\\hat{R}
Q^,T^,E^,C^,R^ 必须与执行器一起演进;如果模型版本、网络或设备群发生变化,旧预测器会系统性偏差。在线校准不是可选项,而是架构的一部分。
3.6 复杂度与理论性质
3.6.1 命题 1:通信放大比
命题 1(通信放大比) 在状态级协同中,若隐藏态维度为
H
H
H、每个元素
b
b
b 字节、token 标识为
b
t
b_t
bt 字节,则每 token 的隐藏态往返字节数与文本字节数之比为:
ρ
(
H
,
b
)
=
2
H
b
b
t
\\rho(H,b) = \\frac{2Hb}{b_t}
ρ(H,b)=bt2Hb
对于
H
=
4096
H=4096
H=4096、
b
=
2
b=2
b=2(16-bit)、
b
t
=
4
b_t=4
bt=4,有
ρ
=
4096
\\rho = 4096
ρ=4096。对于
H
=
2048
H=2048
H=2048、
b
=
2
b=2
b=2,有
ρ
=
2048
\\rho=2048
ρ=2048;对于
H
=
4096
H=4096
H=4096、
b
=
1
b=1
b=1(8-bit),有
ρ
=
2048
\\rho=2048
ρ=2048。
证明:一个隐藏态有
H
H
H 个元素,每个
b
b
b 字节,故单程
H
b
Hb
Hb 字节;往返为
2
H
b
2Hb
2Hb 字节。文本 token 标识为
b
t
b_t
bt 字节,比值为
2
H
b
/
b
t
2Hb/b_t
2Hb/bt。证毕。
这个命题的意义不是“状态级协同一定不好”,而是说它的通信成本与隐藏维度线性相关,且基数很大。任何状态级协同方案都必须先回答:这 4096 倍的放大,是否被隐私收益、质量收益或本地算力收益所抵消? 如果答案是否定的,就应该转向 token 级或任务级协同。
3.6.2 命题 2:状态级拆分的盈亏平衡
命题 2(预填充盈亏平衡) 对于长度为
n
n
n 的提示词,状态级 U 型拆分的预填充阶段至少需要传输
2
n
H
b
2nHb
2nHb 字节。相对于纯云端预填充,它在时延上占优的必要条件是:
T
d
e
v
,
i
n
(
n
)
+
2
n
H
b
B
+
T
c
l
o
u
d
,
m
i
d
(
n
)
<
T
c
l
o
u
d
,
p
r
e
f
i
l
l
(
n
)
T_{\\mathrm{dev,in}}(n) + \\frac{2nHb}{B} + T_{\\mathrm{cloud,mid}}(n) < T_{\\mathrm{cloud,prefill}}(n)
Tdev,in(n)+B2nHb+Tcloud,mid(n)<Tcloud,prefill(n)
其中
B
B
B 是端云之间的有效单向带宽(假设上下行相同),忽略压缩、分块重叠与协议开销。
证明:由 3.1.3 节的时延分解,状态级预填充的通信项为
n
H
b
/
B
u
p
+
n
H
b
/
B
d
o
w
n
nHb/B_{\\mathrm{up}} + nHb/B_{\\mathrm{down}}
nHb/Bup+nHb/Bdown;令
B
u
p
=
B
d
o
w
n
=
B
B_{\\mathrm{up}}=B_{\\mathrm{down}}=B
Bup=Bdown=B,得
2
n
H
b
/
B
2nHb/B
2nHb/B。将其与设备、云端计算项相加,与纯云端预填充比较,即得条件。证毕。
这个条件说明:当
n
n
n 很大、
H
H
H 很大、
B
B
B 很小,通信项会主导,状态级拆分不可能在时延上优于纯云端。分块与流水线可以重叠传输与计算,但总字节数不变;只有当云端预填充的计算节省足以覆盖通信时间,或者隐私收益被单独计入效用时,拆分才合理。HAT 在测试床上报告了 TTFT 降低,说明在其硬件与网络条件下,重叠与推测解码带来的收益超过了通信成本[1];但这不能直接推广到移动网络或更长提示词。
3.6.3 命题 3:推测解码的加速上界
命题 3(推测解码加速上界) 在 3.1.3 节的独立接受假设下,推测解码相对纯云端逐 token 解码的加速比为:
S
(
k
)
=
1
−
α
k
+
1
1
−
α
⋅
T
t
a
r
g
e
t
k
T
d
r
a
f
t
+
T
v
e
r
i
f
y
+
T
c
o
m
m
S(k) = \\frac{1-\\alpha^{k+1}}{1-\\alpha} \\cdot \\frac{T_{\\mathrm{target}}}{k T_{\\mathrm{draft}} + T_{\\mathrm{verify}} + T_{\\mathrm{comm}}}
S(k)=1−α1−αk+1⋅kTdraft+Tverify+TcommTtarget
当
T
v
e
r
i
f
y
≈
T
t
a
r
g
e
t
T_{\\mathrm{verify}} \\approx T_{\\mathrm{target}}
Tverify≈Ttarget、
T
c
o
m
m
≈
0
T_{\\mathrm{comm}} \\approx 0
Tcomm≈0 时,
S
(
k
)
≈
1
−
α
k
+
1
(
1
−
α
)
(
1
+
k
T
d
r
a
f
t
/
T
t
a
r
g
e
t
)
S(k) \\approx \\frac{1-\\alpha^{k+1}}{(1-\\alpha)(1+kT_{\\mathrm{draft}}/T_{\\mathrm{target}})}
S(k)≈(1−α)(1+kTdraft/Ttarget)1−αk+1。若
α
<
1
\\alpha<1
α<1,分子随
k
k
k 饱和而分母线性增长,因此
S
(
k
)
S(k)
S(k) 最终下降;在草稿成本较低时通常先增后减,存在有限的最优草稿长度;若草稿成本过高,则
k
=
1
k=1
k=1 可能已经是边界最优。
证明:一轮期望接受 token 数为
∑
i
=
1
k
α
i
\\sum_{i=1}^{k}\\alpha^i
∑i=1kαi 再加上目标模型额外给出的一个 token,即
(
1
−
α
k
+
1
)
/
(
1
−
α
)
(1-\\alpha^{k+1})/(1-\\alpha)
(1−αk+1)/(1−α);一轮耗时为
k
T
d
r
a
f
t
+
T
v
e
r
i
f
y
+
T
c
o
m
m
k T_{\\mathrm{draft}} + T_{\\mathrm{verify}} + T_{\\mathrm{comm}}
kTdraft+Tverify+Tcomm;纯云端生成同样多 token 的时间为
E
[
A
(
k
)
]
T
t
a
r
g
e
t
\\mathbb{E}[A(k)]T_{\\mathrm{target}}
E[A(k)]Ttarget,两者相除即得。边际收益递减与线性草稿成本共同导致先增后减。证毕。
这个命题的工程含义是:推测解码不是“草稿越长越好”,也不是“接受率越高越好”,而是三者的联合优化。 在端云场景中,
T
c
o
m
m
T_{\\mathrm{comm}}
Tcomm 还包含网络 RTT 与序列化开销;当 RTT 高时,增大
k
k
k 可以摊薄通信,但接受率下降会抵消收益。最优
k
k
k 应该由在线测量决定,而不是拍脑袋设定。
3.6.4 命题 4:隐私风险的非单调性
命题 4(隐私非单调性) 在只考虑“原始数据是否跨边界”的粗粒度模型下,设备端执行到云端执行的隐私风险单调上升;但在同时考虑原始文本、token、隐藏态、KV cache 与元数据的泄漏面模型下,隐私风险对切分点不一定单调。拆分可能降低原始文本暴露,却增加隐藏态与元数据暴露;净风险取决于攻击模型、辅助信息与数据敏感度。
论证:设泄漏面集合为
L
(
ℓ
)
\\mathcal{L}(\\ell)
L(ℓ),风险为
R
(
ℓ
)
=
∑
z
∈
L
(
ℓ
)
w
z
s
e
n
s
(
z
)
a
t
t
a
c
k
(
z
)
R(\\ell)=\\sum_{z\\in\\mathcal{L}(\\ell)}w_z\\mathrm{sens}(z)\\mathrm{attack}(z)
R(ℓ)=∑z∈L(ℓ)wzsens(z)attack(z)。当
ℓ
\\ell
ℓ 从设备端移向云端,原始文本项的权重下降,但隐藏态项的权重上升;两项方向相反,且
a
t
t
a
c
k
(
z
)
\\mathrm{attack}(z)
attack(z) 依赖攻击者能力。因此不存在仅由
ℓ
\\ell
ℓ 决定的单调序。证毕。
这个命题是对“拆分等于隐私”的直接反驳。它不否认拆分可能带来的隐私好处,而是要求架构师明确攻击模型:如果攻击者只能读取云端原始文本,拆分确实减少了暴露;如果攻击者可以访问隐藏态并拥有辅助信息,拆分的净收益需要重新评估。没有攻击模型的隐私声明,不是工程结论,而是愿望。
4 实验与评测
4.1 评测问题
本文不报告自采硬件实验。第 4 章的目标是给出一个可复现的评测协议,并把已有文献的证据放在可比较的框架里。评测围绕五个问题展开。
- RQ1(协同收益):在什么设备、网络与任务条件下,端云协同优于纯云端或纯设备端?
- RQ2(粒度选择):任务级、token 级、状态级与证据级协同,各自在什么约束下最优?
- RQ3(尾延迟):路由误差、网络抖动、热节流与云侧排队如何影响 P99 时延?
- RQ4(状态一致性):多轮会话与多步智能体中,状态同步策略如何影响任务成功率、重复执行与冲突率?
- RQ5(能效与成本):端侧能耗、云端 token 成本、网络流量成本与设备物料成本如何共同决定单位任务成本?
4.2 工作负载与测试床
一个可复现的评测矩阵至少应覆盖表 3 中的维度。本文不填写具体数值,避免把设计意图误读为实测结论。
| 任务 | 短问答、长文档问答、多步工具调用、隐私敏感助理、离线任务 | 覆盖不同上下文长度与状态复杂度 |
| 提示词长度 | 128、512、2k、8k、32k token | 观察预填充通信与 KV cache 压力 |
| 输出长度 | 64、256、1k token | 观察解码阶段往返次数 |
| 设备 | 高端手机、笔记本电脑、可穿戴、边缘网关 | 覆盖内存、算力、热与电池差异 |
| 网络 | Wi-Fi、5G、弱 4G、离线 | 覆盖带宽、RTT、抖动与丢包 |
| 云端 | 单卡/多卡 GPU、云端 API | 覆盖自托管与托管服务 |
| 模型族 | 同族 SLM/LLM、异构模型+适配器 | 检验表示空间兼容性 |
| 隐私等级 | 公开、内部、敏感、 regulated | 检验策略与回退 |
测试床应记录:设备型号、SoC、内存、操作系统、推理运行时、模型版本、量化方案、云端 GPU/驱动、网络模拟参数、批量大小、并发数、温度与电量。缺少这些元数据的“加速比”不可复现,也不应被用于跨论文比较。
4.3 基线
建议至少包含以下基线。
基线必须使用相同的任务、模型族、硬件与网络条件;如果无法完全一致,应报告差异并在分析中控制变量。跨论文数字只能作为“存在性证据”,不能作为“谁更好”的结论。
4.4 指标
- 质量:任务准确率、pass@1、工具调用成功率、人工评分、偏好胜率、事实一致性。
- 时延:TTFT、TBT、端到端时延、P50/P95/P99、超时率。
- 吞吐:每秒请求数、每秒 token 数、并发会话数。
- 能耗:每 token 能量、每任务能量、设备电池消耗、云端功耗。
- 成本:每千 token 云端费用、网络流量费用、设备物料成本摊销、运维成本。
- 隐私:原始数据跨边界次数、隐藏态跨边界字节数、元数据暴露项、在给定攻击模型下的重建/推断成功率。
- 状态:缓存命中率、陈旧度、冲突率、重复执行率、恢复时间。
- 可靠性:降级率、回退成功率、离线可用率、故障恢复时间。
隐私指标尤其需要明确攻击模型。没有攻击模型的“隐私评分”没有意义;建议至少区分“云端可见原始文本”“云端可见 token”“云端可见隐藏态”“云端可见元数据”四种可见性,并分别报告。
4.5 文献证据汇总
表 4 汇总了本文读取到的代表性工作报告的关键结果。所有数字均来自原论文摘要或首页,实验条件不同,不可直接横向比较;本文未独立复现。
| HAT[1] | 设备-云协同推理 | TTFT 降低 41%–54%,TBT 降低 41%–77% | 30 台 Jetson + 8 张 A6000;U 型推理 + 推测解码 + 提示词分块 | 状态级与 token 级可以组合,但通信仍是约束 |
| CONCORD[2] | 双端 RAG | 吞吐提升 1.66×/2.15×;每 token 通信降低两个数量级以上 | Natural Questions/WikiText-2;相对 DRAGON;文档隔离 | 证据级协同可以避免稠密传输 |
| LLM in a flash[13] | 有限 DRAM 推理 | 最高 4×(CPU)/20×(GPU)加速;支持约 2× DRAM 的模型 | 与朴素加载比较;闪存按需加载 | 设备内存层次是硬约束 |
| PowerInfer[14] | 消费级 GPU | 相对 llama.cpp 最高 11.69×;OPT-30B 达 A100 约 82% token 生成率 | 单张 RTX 4090;激活稀疏 | 端侧算力差距可通过稀疏性部分缩小 |
| MobileLLM-Pro[15] | 端侧 1B 模型 | 11 个基准;128k 上下文;4-bit 量化仅有小幅退化 | 原文自报;未独立复现 | 端侧能力上升,但质量上限仍受规模约束 |
| EdgeShard[11] | 协同边缘推理 | 最高 50% 时延下降、2× 吞吐提升 | Llama2 系列;异构物理原型 | 多设备分片可扩展资源池,但依赖网络稳定 |
| SplitLLM[10] | 服务器-客户端拆分 | 服务器负载约降低 1/3;相对贪心提升 19% | 动态规划放置;SLA 约束 | 拆分点优化可以提升吞吐,但需已知资源画像 |
| Forget to Improve[27] | 端侧智能体记忆 | 内存降低 2.7×;上行降低 2.4×;注入成功率 0.75→0 | 异构 Jetson 测试床;预算约束 | 状态治理可以同时降低资源与攻击面 |
这张表的作用不是排名,而是说明四类协同都已有可验证的收益证据,同时也都带有特定条件。HAT 的收益依赖其测试床与网络;CONCORD 的收益依赖文档隔离与异步证据;LLM in a flash 与 PowerInfer 的收益依赖内存层次与稀疏性;EdgeShard/SplitLLM 的收益依赖资源画像与 SLA。把这些数字拼成一张“端云协同排行榜”是不严谨的。
4.6 解析性评估:通信、隐私与延迟的三角
表 5 按命题 1 与 3.1.3 节的公式计算了不同表示形式的通信开销。假设理想带宽、无协议开销、单向传输;这些不是测量值,而是用于比较数量级的解析估算。
| 文本 token(int32) | 4 B | 8 KiB | 3.3 ms | 0.7 ms | 0.1 ms |
| 隐藏态,
H = 2048 H=2048 H=2048,16-bit,往返 |
8 KiB | 16 MiB | 6.7 s | 1.34 s | 0.27 s |
| 隐藏态,
H = 4096 H=4096 H=4096,16-bit,往返 |
16 KiB | 32 MiB | 13.4 s | 2.68 s | 0.54 s |
| 隐藏态,
H = 4096 H=4096 H=4096,8-bit,往返 |
8 KiB | 16 MiB | 6.7 s | 1.34 s | 0.27 s |
注:1 MiB =
2
20
2^{20}
220 字节;带宽按十进制 Mbps 计算;传输时间 = 字节数 × 8 / 带宽。实际系统还会受到传输层安全(Transport Layer Security, TLS)、协议头、拥塞控制、重传、无线唤醒与上下行不对称的影响,因此表中的数字应视为理想化下界式估算,而不是端到端时延预测。
这张表揭示了三个结论。第一,文本与隐藏态之间不是“几倍”的差距,而是三个数量级的差距;在 20 Mbps 网络上,2048 token 的 4096 维 16-bit 隐藏态往返需要约 13.4 秒,足以让交互式体验失效。第二,分块与流水线只能重叠,不能消除总量;它们可以把 13.4 秒的传输藏到计算后面,但如果计算本身只有几百毫秒,重叠的收益有限。第三,降低精度可以线性减少通信;8-bit 隐藏态把时间减半,但会引入量化误差,且需要端云两侧一致的量化/反量化协议。这些结论解释了为什么状态级协同更适合高带宽、短提示词或强隐私场景,而不适合作为移动网络的默认方案。
隐私维度与通信维度并不独立。文本 token 的通信量最小,但暴露的是可读内容;隐藏态的通信量最大,暴露的是高维表示;证据的通信量居中,暴露的是文档与元数据。不存在一个“通信最小且隐私最好”的粒度;架构师只能在泄漏面、通信量与质量之间做选择。 这就是本文所说的“通信—隐私—延迟三角”:优化其中两个维度,往往会把压力转移到第三个维度。
4.7 消融设计
如果要在真实测试床上验证本文框架,建议至少做以下消融。所有消融都应报告置信区间与尾部指标,而不是只报告平均值。
ℓ
\\ell
ℓ,观察 TTFT、TBT、通信量与隐私暴露面的变化;检验命题 1 与 2。
k
k
k,观察接受率、加速比与通信轮次;检验命题 3 的先增后减趋势。
4.8 失败模式
表 6 总结了端云协同中最常见的失败模式。它们不是理论上的边角情况,而是生产系统中最容易反复出现的问题。
| 路由过度自信 | 困难请求被留在端侧,质量骤降 | 路由器未校准、分布漂移 | 置信度校准、弃权、影子流量 |
| 网络抖动 | P99 时延超标、超时重试 | 只按平均带宽调度 | 预测性预取、RTT 感知、回退 |
| 热节流 | 端侧 TBT 突然升高 | 持续高负载、散热不足 | 热感知调度、降频、任务迁移 |
| 表示空间不匹配 | 输出乱码或语义漂移 | 端云模型/tokenizer 版本不一致 | 版本握手、适配器、兼容性测试 |
| KV cache 过期 | 重复、自相矛盾、上下文丢失 | 状态副本未同步、缓存未失效 | 版本向量、检查点、重放 |
| 工具副作用重复 | 重复下单、重复发邮件 | 重试非幂等 | 幂等键、补偿事务、人工确认 |
| 元数据泄漏 | 文档 ID/时序暴露用户意图 | 只保护内容、不保护元数据 | 填充、批处理、延迟聚合、隐私预算 |
| 云端故障 | 全系统不可用 | 没有本地兜底 | 离线模式、降级模型、队列 |
| 成本失控 | token/流量费用超预算 | 没有预算约束与准入 | 预算门控、缓存、批处理 |
| 评测失真 | 平均值好看、用户体验差 | 只报告均值、不做尾部分析 | P99、分层评测、攻击模型 |
4.9 局限
本文有五个明确局限。第一,没有自采实验。本文的数值只有两类:原论文报告的结果与解析公式的计算;前者不可横向比较,后者依赖理想化假设。第二,隐私模型是启发式。
R
π
R_\\pi
Rπ 只能用于规划排序,不能替代形式化隐私分析;隐藏态的可重建性取决于攻击者与辅助信息,本文没有给出攻击实验。第三,文献覆盖有偏。本文引用的工作以英文论文为主,测试床多集中在特定硬件与网络;中文、多语言、行业专用负载可能有不同的边界。第四,硬件与模型演化快。端侧 NPU、量化格式、云侧加速器与模型架构都在快速变化,本文的盈亏平衡条件需要在新平台上重新标定。第五,智能体级评测不成熟。多步任务的成功率、副作用、可恢复性与用户体验,很难用单一指标概括;本文的评测协议只是起点,不是标准。
5 讨论
5.1 没有免费的午餐
端云协同的一个基本事实是:质量、时延、能耗、成本与隐私五个维度不能同时被优化。状态级协同可能提升隐私与质量,但通信成本高;token 级协同通信低,但隐私暴露 token;任务级协同最简单,但质量受路由限制;证据级协同隐私面窄,但依赖证据覆盖。架构师的任务不是找到一个“全都好”的方案,而是明确在当前场景下哪些维度是目标、哪些是约束、哪些可以妥协。一个没有明确约束的端云架构,无法被评估,也无法被维护。
5.2 适用边界
本文的框架给出了一些可操作的边界判断。
- 请求同质、网络稳定、模型规模不大:静态配置或纯云端通常更经济。动态协同的控制面开销可能超过收益。
- 请求异质、网络波动、设备多样:自适应路由与拆分更有价值;但必须配套校准、回退与可观测性。
- 隐私敏感、数据不能出设备:设备端优先;如果设备能力不足,考虑状态级 U 型推理或证据级协同,并明确攻击模型。
- 长文档、长上下文:优先云端或边缘,配合前缀缓存、分块与检索;避免把全量隐藏态作为默认传输对象。
- 弱网/离线:设备端兜底是硬需求;云端能力应设计为“增强”而非“唯一路径”。
- 多步智能体:状态一致性与工具幂等性优先于单步推理优化;没有状态治理的协同会在长程任务中失败。
- 高吞吐、低成本:云端批处理与缓存通常更经济;端侧协同适合降低尾延迟或满足合规,而不是追求单位 token 最低成本。
5.3 十类工程反模式
基于上述分析,本文总结十类常见反模式。它们的共同点是:在演示环境中看不出问题,在生产环境的尾部分布或异常路径上集中爆发。
5.4 伦理与治理
端云协同涉及大量个人数据与行为信号,伦理与治理不能作为事后补丁。至少应做到以下几点。第一,知情同意与目的限制:用户应知道哪些数据在本地处理、哪些会离开设备、用于什么目的、保留多久。第二,数据最小化:只传决策所需的最小证据;能用摘要、证书、哈希解决的,不传原文。第三,可审计:每次跨边界传输、每次路由决策、每次降级都应有可追溯记录;审计日志本身也要保护隐私。第四,模型来源与版本可追溯:端云模型版本不一致是质量故障的常见根因,也是安全漏洞的入口。第五,高风险动作需要人类确认:对于不可逆的工具调用(支付、删除、发送、部署),系统应支持暂停与人工复核,而不是让模型自主重试。第六,能效与数字公平:端云协同不应把成本转嫁给电池受限或网络受限的用户;离线可用性应作为基本能力,而不是高端机型的特权。
5.5 经济性
端云协同的经济账不能只算 token 单价。设备侧有物料清单(Bill of Materials, BOM)成本、内存容量、电池寿命、散热设计与工程维护;云侧有 GPU 折旧、电费、网络出口费与运维;网络侧有流量费与漫游费;系统侧有模型更新、兼容性测试、故障处理与合规审计。一个在 token 单价上更便宜的方案,可能在设备 BOM、电池更换或客服成本上更贵。端侧不是免费的:把模型放进设备,意味着内存被占用、电量被消耗、热设计被约束、模型更新要适配碎片化的设备群。架构师应该用“单位任务总成本”而不是“每百万 token 价格”来做决策。
5.6 开放问题
本文认为以下问题值得进一步研究。
6 结论
本文从“交换粒度”而不是“执行位置”出发,重新分析了端云协同架构。我们提出 DCA-5L 五层分析框架,把设备执行、模型协同、状态数据、协同控制与可信治理放在同一张图上;把协同分为任务级、token 级、状态级与证据级四类;建立了包含质量、时延、能耗、成本与隐私的五维约束模型;推导了通信放大比、状态级拆分盈亏平衡、推测解码加速上界与隐私非单调性四个性质;总结了十类工程反模式与一套可复现的评测协议。本文的核心结论是:端云协同的可行性由交换粒度与约束条件共同决定,而不是由“端侧还是云侧”这一句话决定。 任务级协同适合同质、稳定、质量优先的场景;token 级协同适合有可用草稿模型、网络中等的场景;状态级协同适合高隐私、高带宽、短提示词的场景;证据级协同适合文档隔离、公私知识分离的场景。任何架构如果不明确自己的交换对象、状态权威与回退路径,就无法被可靠评估。
本文没有报告自采实验,也不声称某个架构在所有场景最优。未来的工作将集中在三件事:第一,搭建覆盖多设备、多网络、多任务的公开测试床,验证本文的盈亏平衡条件;第二,研究通信感知的模型设计与状态一致性协议;第三,建立包含隐私攻击与智能体级任务的评测标准。只有当这些证据齐全时,端云协同架构才能从“经验判断”走向“可验证的工程学科”。
References
[1] Z. Xie, Y. Xu, H. Xu, Y. Liao, and Z. Yao. A Novel Hat-Shaped Device-Cloud Collaborative Inference Framework for Large Language Models. arXiv:2503.18989, 2025.
[2] X. Hu, Z. Tang, Z. Yao, T. Wang, and W. Jia. CONCORD: Asynchronous Sparse Aggregation for Device-Cloud RAG under Document Isolation. arXiv:2606.15179, 2026.
[3] S. Li, H. Wang, W. Xu, R. Zhang, S. Guo, J. Yuan, X. Zhong, T. Zhang, and R. Li. Collaborative Inference and Learning between Edge SLMs and Cloud LLMs: A Survey of Algorithms, Execution, and Open Challenges. arXiv:2507.16731, 2025.
[4] J. Liu, Y. Du, K. Yang, J. Wu, Y. Wang, X. Hu, Z. Wang, Y. Liu, P. Sun, A. Boukerche, and V. C. M. Leung. Edge-Cloud Collaborative Computing on Distributed Intelligence and Model Optimization: A Survey. arXiv:2505.01821, 2025.
[5] G. Qu, Q. Chen, W. Wei, Z. Lin, X. Chen, and K. Huang. Mobile Edge Intelligence for Large Language Models: A Contemporary Survey. arXiv:2407.18921, 2024.
[6] Y. Zheng, Y. Chen, B. Qian, X. Shi, Y. Shu, and J. Chen. A Review on Edge Large Language Models: Design, Execution, and Applications. arXiv:2410.11845, 2024.
[7] X. Wang, Z. Tang, J. Guo, T. Meng, C. Wang, T. Wang, and W. Jia. Empowering Edge Intelligence: A Comprehensive Survey on On-Device AI Models. arXiv:2503.06027, 2025.
[8] M. Navardi, R. Aalishah, Y. Fu, Y. Lin, H. Li, Y. Chen, and T. Mohsenin. GenAI at the Edge: Comprehensive Survey on Empowering Edge Devices. arXiv:2502.15816, 2025.
[9] S. Liu, W. Wu, X. Xu, T. Li, B. Pang, B. Guo, and Z. Yu. Adaptive and Resource-efficient Agentic AI Systems for Mobile and Embedded Devices: A Survey. arXiv:2510.00078, 2025.
[10] A. Mudvari, Y. Jiang, and L. Tassiulas. SplitLLM: Collaborative Inference of LLMs for Model Placement and Throughput Optimization. arXiv:2410.10759, 2024.
[11] M. Zhang, J. Cao, X. Shen, and Z. Cui. EdgeShard: Efficient LLM Inference via Collaborative Edge Computing. arXiv:2405.14371, 2024.
[12] R. Yi, L. Guo, S. Wei, A. Zhou, S. Wang, and M. Xu. EdgeMoE: Empowering Sparse Large Language Models on Mobile Devices. arXiv:2308.14352, 2023.
[13] K. Alizadeh, I. Mirzadeh, D. Belenko, S. K. Khatamifard, M. Cho, C. C. Del Mundo, M. Rastegari, and M. Farajtabar. LLM in a Flash: Efficient Large Language Model Inference with Limited Memory. arXiv:2312.11514, 2023.
[14] Y. Song, Z. Mi, H. Xie, and H. Chen. PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU. arXiv:2312.12456, 2023.
[15] P. Huber, E. Chang, W. Wen, I. Fedorov, T. Elgamal, H. Huang, N. Suda, C. Sankar, V. Vogeti, Y. Wang, A. Gladkov, K. S. Tai, A. Elogeel, T. Hefny, V. Chandra, A. Aly, A. Kumar, R. Krishnamoorthi, and A. Sagar. MobileLLM-Pro Technical Report. arXiv:2511.06719, 2025.
[16] Y. Gu, L. Dong, F. Wei, and M. Huang. MiniLLM: On-Policy Distillation of Large Language Models. arXiv:2306.08543, 2023.
[17] X. Xu, M. Li, C. Tao, T. Shen, R. Cheng, J. Li, C. Xu, D. Tao, and T. Zhou. A Survey on Knowledge Distillation of Large Language Models. arXiv:2402.13116, 2024.
[18] Y. Leviathan, M. Kalman, and Y. Matias. Fast Inference from Transformers via Speculative Decoding. In International Conference on Machine Learning (ICML), 2023.
[19] Z. Hao, H. Jiang, S. Jiang, J. Ren, and T. Cao. Hybrid SLM and LLM for Edge-Cloud Collaborative Inference. In Workshop on Edge and Mobile Foundation Models, 2024.
[20] S. Oh, J. Kim, J. Park, S.-W. Ko, T. Q. Quek, and S.-L. Kim. Uncertainty-aware Hybrid Inference with On-Device Small and Remote Large Language Models. arXiv:2412.12687, 2024.
[21] W. Zheng, Y. Chen, W. Zhang, S. Kundu, Y. Li, Z. Liu, E. P. Xing, H. Wang, and H. Yao. CiTer: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing. arXiv:2502.01976, 2025.
[22] C.-C. Sa, L.-C. Cheng, H.-H. Chung, T.-C. Chiu, C.-Y. Wang, A.-C. Pang, and S.-T. Chen. Ensuring Bidirectional Privacy on Wireless Split Inference Systems. IEEE Wireless Communications, 2024.
[23] P. Mai, R. Yan, Z. Huang, Y. Yang, and Y. Pang. Split-and-Denoise: Protect Large Language Model Inference with Local Differential Privacy. arXiv:2310.09130, 2023.
[24] S. Ohta and T. Nishio. Lambda-Split: A Privacy-Preserving Split Computing Framework for Cloud-Powered Generative AI. arXiv:2310.14651, 2023.
[25] X. Shen, Y. Liu, H. Liu, J. Hong, B. Duan, Z. Huang, Y. Mao, Y. Wu, and D. Wu. A Split-and-Privatize Framework for Large Language Model Fine-Tuning. arXiv:2312.15603, 2023.
[26] T. Gunter, Z. Wang, C. Wang, R. Pang, A. Narayanan, A. Zhang, B. Zhang, C. Chen, C.-C. Chiu, D. Qiu, et al. Apple Intelligence Foundation Language Models. arXiv:2407.21075, 2024.
[27] B. Wu, Z. Ding, J. Huang, and Y. Zhao. Forget to Improve: On-Device LLM-Agent Continual Learning via Budget-Curated Memory. arXiv:2606.25115, 2026.
[28] W. Kwon, Z. Li, S. Zhuang, Y. Sheng, L. Zheng, C. H. Yu, J. E. Gonzalez, H. Zhang, and I. Stoica. vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention. 2023.
[29] G.-I. Yu, J. S. Jeong, G.-W. Kim, S. Kim, and B.-G. Chun. Orca: A Distributed Serving System for Transformer-Based Generative Models. In USENIX Symposium on Operating Systems Design and Implementation (OSDI), 2022.
[30] A. Agrawal, N. Kedia, A. Panwar, J. Mohan, N. Kwatra, B. S. Gulavani, A. Tumanov, and R. Ramjee. Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve. arXiv:2403.02310, 2024.
[31] T. Cai, Y. Li, Z. Geng, H. Peng, J. D. Lee, D. Chen, and T. Dao. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads. arXiv:2401.10774, 2024.
[32] Y. Li, F. Wei, C. Zhang, and H. Zhang. Eagle: Speculative Sampling Requires Rethinking Feature Uncertainty. arXiv:2401.15077, 2024.
[33] J. Lin, L. Zhu, W.-M. Chen, W.-C. Wang, and S. Han. Tiny Machine Learning: Progress and Futures. arXiv:2403.19076, 2024.
[34] J. S. G. Yee, P. C. Ng, Z. Wang, I. McLoughlin, A. B. Ng, and S. See. On-Device LLMs for SMEs: Challenges and Opportunities. arXiv:2410.16070, 2024.
Appendix
A 命题证明
A.1 命题 1(通信放大比)
设隐藏态维度为
H
H
H,每个元素占
b
b
b 字节。一个隐藏态的字节数为
H
b
Hb
Hb。U 型拆分在解码阶段每个 token 需要上行一个隐藏态、下行一个隐藏态,因此往返字节数为
2
H
b
2Hb
2Hb。文本 token 标识为
b
t
b_t
bt 字节。两者之比为:
ρ
(
H
,
b
)
=
2
H
b
b
t
\\rho(H,b) = \\frac{2Hb}{b_t}
ρ(H,b)=bt2Hb
代入
H
=
4096
,
b
=
2
,
b
t
=
4
H=4096,b=2,b_t=4
H=4096,b=2,bt=4,得
ρ
=
4096
\\rho=4096
ρ=4096。证毕。
A.2 命题 2(预填充盈亏平衡)
由 3.1.3 节的 U 型时延分解,预填充阶段的通信项为:
T
c
o
m
m
p
r
e
f
i
l
l
=
n
H
b
B
u
p
+
n
H
b
B
d
o
w
n
T_{\\mathrm{comm}}^{\\mathrm{prefill}} = \\frac{nHb}{B_{\\mathrm{up}}} + \\frac{nHb}{B_{\\mathrm{down}}}
Tcommprefill=BupnHb+BdownnHb
令
B
u
p
=
B
d
o
w
n
=
B
B_{\\mathrm{up}}=B_{\\mathrm{down}}=B
Bup=Bdown=B,得
2
n
H
b
/
B
2nHb/B
2nHb/B。状态级拆分在时延上优于纯云端预填充的必要条件是不等式两边成立:
T
d
e
v
,
i
n
(
n
)
+
2
n
H
b
B
+
T
c
l
o
u
d
,
m
i
d
(
n
)
<
T
c
l
o
u
d
,
p
r
e
f
i
l
l
(
n
)
T_{\\mathrm{dev,in}}(n) + \\frac{2nHb}{B} + T_{\\mathrm{cloud,mid}}(n) < T_{\\mathrm{cloud,prefill}}(n)
Tdev,in(n)+B2nHb+Tcloud,mid(n)<Tcloud,prefill(n)
否则通信项会抵消甚至超过计算节省。证毕。
A.3 命题 3(推测解码加速上界)
在独立接受假设下,前
i
i
i 个草稿 token 都被接受的概率为
α
i
\\alpha^i
αi,因此一轮期望接受 token 数为:
E
[
A
(
k
)
]
=
∑
i
=
1
k
α
i
+
1
=
1
−
α
k
+
1
1
−
α
\\mathbb{E}[A(k)] = \\sum_{i=1}^{k}\\alpha^i + 1 = \\frac{1-\\alpha^{k+1}}{1-\\alpha}
E[A(k)]=i=1∑kαi+1=1−α1−αk+1
其中额外的 1 来自目标模型在验证后额外生成的 token。一轮耗时为
k
T
d
r
a
f
t
+
T
v
e
r
i
f
y
+
T
c
o
m
m
k T_{\\mathrm{draft}} + T_{\\mathrm{verify}} + T_{\\mathrm{comm}}
kTdraft+Tverify+Tcomm。纯云端生成
E
[
A
(
k
)
]
\\mathbb{E}[A(k)]
E[A(k)] 个 token 的时间为
E
[
A
(
k
)
]
T
t
a
r
g
e
t
\\mathbb{E}[A(k)]T_{\\mathrm{target}}
E[A(k)]Ttarget。两者相除得:
S
(
k
)
=
E
[
A
(
k
)
]
T
t
a
r
g
e
t
k
T
d
r
a
f
t
+
T
v
e
r
i
f
y
+
T
c
o
m
m
S(k) = \\frac{\\mathbb{E}[A(k)]T_{\\mathrm{target}}}{k T_{\\mathrm{draft}} + T_{\\mathrm{verify}} + T_{\\mathrm{comm}}}
S(k)=kTdraft+Tverify+TcommE[A(k)]Ttarget
当
T
v
e
r
i
f
y
≈
T
t
a
r
g
e
t
T_{\\mathrm{verify}}\\approx T_{\\mathrm{target}}
Tverify≈Ttarget 且
T
c
o
m
m
≈
0
T_{\\mathrm{comm}}\\approx 0
Tcomm≈0 时,分母为
k
T
d
r
a
f
t
+
T
t
a
r
g
e
t
k T_{\\mathrm{draft}} + T_{\\mathrm{target}}
kTdraft+Ttarget,得到正文中的近似式。由于
E
[
A
(
k
)
]
\\mathbb{E}[A(k)]
E[A(k)] 随
k
k
k 饱和而分母线性增长,
S
(
k
)
S(k)
S(k) 存在有限最优
k
k
k。证毕。
A.4 命题 4(隐私非单调性)
设切分点为
ℓ
\\ell
ℓ,泄漏面集合为
L
(
ℓ
)
\\mathcal{L}(\\ell)
L(ℓ),风险为:
R
(
ℓ
)
=
∑
z
∈
L
(
ℓ
)
w
z
⋅
s
e
n
s
(
z
)
⋅
a
t
t
a
c
k
(
z
)
R(\\ell) = \\sum_{z\\in\\mathcal{L}(\\ell)} w_z \\cdot \\mathrm{sens}(z) \\cdot \\mathrm{attack}(z)
R(ℓ)=z∈L(ℓ)∑wz⋅sens(z)⋅attack(z)
当
ℓ
\\ell
ℓ 从设备端移向云端,原始文本项从
L
(
ℓ
)
\\mathcal{L}(\\ell)
L(ℓ) 中移除,使
R
R
R 下降;隐藏态与元数据项加入
L
(
ℓ
)
\\mathcal{L}(\\ell)
L(ℓ),使
R
R
R 上升。两项方向相反,且
a
t
t
a
c
k
(
z
)
\\mathrm{attack}(z)
attack(z) 随攻击模型变化。因此
R
(
ℓ
)
R(\\ell)
R(ℓ) 不一定单调,不能仅凭“是否拆分”判断隐私优劣。证毕。
B 解析计算的参数说明
表 5 的计算使用以下参数:
H
∈
{
2048
,
4096
}
H\\in\\{2048,4096\\}
H∈{2048,4096},隐藏态精度为 16-bit 或 8-bit,token 标识为 32-bit;提示词长度为 2048 token;带宽为 20/100/500 Mbps;传输时间按
8
×
字节数
/
带宽
8 \\times \\text{字节数} / \\text{带宽}
8×字节数/带宽 计算。表中未计入 TLS、协议头、拥塞控制、重传、上下行不对称、无线唤醒与接收端处理时间。实际系统应使用目标平台的实测参数替换这些假设。
C 实验执行清单
如果要在真实测试床上执行本文协议,建议按以下顺序推进。
D 待核实与待补充清单
- HAT 的 TTFT/TBT 收益对应的具体基线、网络条件与提示词长度;本文只读取了摘要与部分正文,未复现实验。
- CONCORD 在中文/多语言文档隔离场景下的吞吐与质量;原文实验集中在 Natural Questions 与 WikiText-2。
- 隐藏态重建攻击在 LLM 拆分推理中的实际成功率与辅助信息要求;本文只给出风险模型,未做攻击实验。
- 端侧 4-bit/8-bit 量化对长上下文与工具调用质量的影响;不同模型族的退化曲线可能不同。
- 5G/弱 4G 网络下真实 RTT、抖动与上行带宽分布;本文使用理想化带宽参数。
- 多步智能体的状态冲突率、重复执行率与恢复时间;需要真实工具环境与长程任务。
- 第 4.7 节消融的真实结果表;当前版本只给出实验设计。
- [todo: 待补充] 具体云侧 GPU 型号、价格、PUE 与网络出口计费;本文未绑定任何厂商。
- [todo: 待补充] 行业合规要求(如医疗、金融、教育)对跨边界数据的具体限制;本文只给出通用治理框架。
写作说明。 本文是分析型草稿,不是投稿终稿。文中的文献结果均来自原论文摘要或首页;解析计算均标注假设;未核实内容已用 [todo: …] 标出。若要把本文推进为可投稿论文,下一步应优先完成第 4.7 节的真实消融、第 4.5 节的条件对齐,以及第 5.6 节的标准化评测。
网硕互联帮助中心







评论前必须登录!
注册