网硕互联帮助中心2026年8月24日，Hot Chips大会现场，Groq 3 LPX交互式AI推理加速器宣布全面投产。
这意味着英伟达AI算力芯片的策略正在发生一次实质性的分化：训练和推理，不再共用同一套架构。
过去几年，AI算力几乎等于GPU算力。从H100到B200再到Rubin，GPU同时扛着训练和推理两个场景。但大模型真正走向大规模应用之后，推理侧的需求特征和训练完全是两回事。纯GPU架构在低延迟、高并发、响应确定性这些推理核心指标上，开始露出明显的短板。
LPU这类专门为语言模型推理设计的芯片，就是在这个背景下从实验室走向量产部署的。Groq 3 LPX的投产，是一个明确的信号。
需要先说清楚一点：LPU不是来取代GPU的。它和GPU是互补关系，两者组合在一起，才构成下一代推理算力的完整底座。本文从芯片架构、内存层次、互联网络、散热工程到软件栈，让你了解什么是LPU。
图1：Groq 3 LPX机架级系统架构图
一、训练和推理，根本就是两种活
很多人把AI算力当成一个整体来看，这是第一个认知误区。训练和推理对硬件的要求，差异大到可以说是两个物种。
训练拼的是峰值吞吐量。模型参数从几十亿到上万亿，要在尽量短的时间里跑完海量矩阵运算。需要极高的浮点算力、极大的显存容量和带宽，还要有足够的通用性来适应不断变化的模型结构。GPU的SIMT单指令多线程架构，天生就是干这个的，HBM高带宽内存负责喂饱数据。
推理完全是另一套逻辑。用户发一条消息，最在意的是第一个字多快蹦出来，也就是首Token延迟，然后是后面每秒能吐多少字，也就是Token生成速率。还有一个容易被忽略但极其重要的指标：响应时间要稳，不能这次秒回下次卡三秒。
低延迟、高并发、确定性，这三个词就是推理场景的核心诉求。
GPU不是不能做推理，但它的架构设计从根上就是偏向吞吐量的。运行时动态调度机制很灵活，但会带来不可预测的延迟波动。HBM带宽确实高，但访问延迟在十纳秒量级，对于自回归解码这种频繁小批量访问的计算模式，效率打折扣。
LPU语言处理单元的思路很干脆：放弃通用性，围绕大语言模型推理的计算特征做死磕优化。核心就三招：全片上SRAM当工作内存、编译期静态调度、确定性数据流执行。三招叠加，实现微秒级的延迟一致性和很高的推理能效比。
不是说LPU比GPU强，而是各有各的战场。训练和大规模批量推理，GPU依然是绝对主力。低延迟交互式推理、智能体实时响应、长上下文快速生成这些场景，LPU正在展现出GPU给不了的东西。AI算力底座从GPU一家独大，走向GPU加专用推理芯片的异构组合，这个方向已经很清晰了。
二、LPU到底是怎么做到的
Groq 3 LPU代表了专用推理芯片的一条典型路线。搞懂它，要从内存、调度、互联三个层面看。
片上SRAM：把工作内存塞进芯片里
传统AI加速器的内存层次是寄存器、缓存、HBM、主机内存，数据在不同层级之间来回搬。HBM带宽高，但访问延迟比片上内存高出一个数量级，还得靠复杂的调度逻辑去隐藏延迟。
LPU的做法更直接。单颗芯片集成500MB片上SRAM，注意这不是缓存，是直接当模型推理的主工作内存用，活跃的权重、激活值、KV缓存状态都放这里。SRAM访问延迟在亚纳秒到纳秒级，带宽150TB/s，比HBM高出一个数量级。
代价是容量小。500MB听着不少，但面对几十GB的大模型参数，只能装下一部分活跃工作集。这就逼着编译器在编译阶段把数据的加载、计算、存储时序精确规划好，确保算的时候数据已经在片上等着了。这个思路有点像早年CPU的显式内存管理，用编译器的确定性调度换掉硬件的动态缓存。
拉到机架级别看，256颗LPU聚合起来总SRAM容量128GB，片上聚合带宽40PB/s。这个量级意味着机架范围内，模型的大部分活跃参数和KV缓存可以常驻片上，外部内存的访问瓶颈基本被消除了。
确定性调度：编译器很重要
GPU靠运行时动态调度，硬件调度器根据资源可用性实时分配任务。灵活是灵活，但延迟波动不可控。推理服务里，延迟波动直接等于用户体验不稳定，也意味着为了保服务质量得多留冗余算力。
LPU走的是另一个极端。所有计算和数据移动，在编译阶段就精确规划到每一个时钟周期。编译器分析模型的计算图，把算子映射到具体计算单元，规划数据在片上内存和计算单元之间的精确流动时序，连芯片之间的数据收发在哪个时钟周期发生都安排好了。
这么干有两个直接好处。一是延迟极其稳定，每次推理的执行时间几乎完全一致，波动在微秒级，没有GPU那种偶发的延迟尖峰。二是硬件不需要复杂的动态调度逻辑，省下来的芯片面积和功耗全部投给计算和内存。
代价是灵活性差。模型结构一变就得重新编译。但对已经上线的大模型服务来说，模型结构相对固定，重新编译的成本完全可以接受。
芯片间互联：全互联拓扑
推理任务在多芯片之间的拆分方式，和训练也不一样。训练需要频繁的梯度同步和参数更新，对互联带宽和延迟要求极高。推理的自回归解码过程，每生成一个Token都要访问完整的KV缓存，KV缓存容量随上下文长度线性增长，这就要求多芯片之间能高效共享KV缓存状态。
Groq 3 LPU的芯片间互联就是围绕这个需求设计的。单颗芯片96条112Gbps直连链路，单芯片scale-up带宽2.5TB/s。256颗芯片组成的机架用全互联拓扑，任意两颗芯片直接通信，机架级纵向扩展带宽640TB/s。
更关键的一点，因为是确定性调度，芯片之间的数据收发在精确的时钟周期发生，网络里不需要任何自适应路由或拥塞感知逻辑。互联延迟也是完全确定的，不存在传统网络里拥塞导致的延迟波动。
图2：Rubin GPU与Groq 3 LPU双芯片对比联合架构图
三、GPU加LPU，怎么协同工作
LPU不是来抢GPU饭碗的，两者是互补关系。目前最前沿的推理架构，正在走向GPU和LPU的异构协同。
具体怎么协同，有两种典型模式。
第一种是阶段拆分。大语言模型推理分两个阶段：预填充和解码。预填充是把用户输入的Prompt一次性处理掉，计算量大，属于高吞吐量的批量矩阵运算，GPU的高浮点算力干这个正合适。解码是逐Token自回归生成，每步计算量小但延迟敏感，还要频繁访问KV缓存，LPU的低延迟和高片上内存带宽在这个阶段优势明显。
所以分工很自然：GPU负责预填充，LPU负责解码。两者通过高速互联交换中间状态，各展所长。实测数据显示，这种异构架构在长上下文场景下的Token生成速率，比纯GPU方案有明显提升。在100K上下文基准测试中，搭载Gemma 4 31B模型的系统跑出了3431 output tokens/second的成绩。
第二种是算子拆分。大模型内部不同类型的算子，对硬件的需求也不同。注意力机制需要大量矩阵乘法和Softmax运算，GPU的张量核心很适合。前馈网络和部分解码过程，计算模式更规则，LPU的确定性数据流架构效率更高。编译器把不同算子分配到不同硬件上执行，整体推理效率最优。
不管哪种模式，底层逻辑是一致的：不再用一种通用硬件硬扛所有计算类型，而是按计算特征选最合适的硬件，靠软件栈实现透明的协同调度。
异构协同也带来新的麻烦。内存一致性是头一个，GPU用HBM，LPU用片上SRAM，两者之间的数据同步得精心设计。调度复杂性是第二个，编译器得同时吃透两种硬件的架构特征，做出最优的算子分配和时序规划。软件生态是第三个，开发者需要一套统一的编程模型，不用关心底层到底是GPU还是LPU。
这些问题正在被逐个解决。统一的推理运行时、跨硬件的编译器后端、标准化的模型交换格式，正在把异构协同从实验室推向大规模生产部署。
四、推理算力产业链分解
搞懂了LPU的架构和异构协同的逻辑，接下来把整个AI推理算力产业链拆成六层来看。
第一层：推理芯片设计
这是整条产业链的技术核心。目前四条路线并行。
通用GPU路线，英伟达是代表，通过不断给GPU加推理专用能力来适应推理需求。NVFP4低精度格式、专用推理张量核心、推测解码硬件加速，都是GPU往推理方向靠的动作。GPU的优势是生态完善、通用性强，训练推理一把抓。
专用LPU路线，Groq技术是代表，围绕语言模型推理做极致的架构定制。全片上SRAM、确定性调度、数据流架构是核心特征。优势是低延迟、高确定性、推理能效比高，劣势是灵活性有限，只吃特定的推理计算模式。
定制ASIC路线，谷歌TPU、亚马逊Trainium/Inferentia、微软自研Maia都算这一类。云厂商按自己的workload特征定制芯片，在特定场景下能效比远超通用GPU。这条路的门槛是得有足够大的内部需求来摊薄芯片设计和流片成本。
国产推理芯片路线，华为昇腾、寒武纪、海光等企业在不同路径上探索，有走通用GPU的，有走存算一体的。国产替代真正的难点不在单点性能，在软件生态的完善度和大规模部署的稳定性。
行业研究机构给出的预测是，2027年全球AI芯片总出货量中ASIC占比将达到53%，首次超过GPU的47%。这个数字准不准还得看，但专用推理芯片份额持续上升，是明确的方向。
第二层：先进封装与制造
推理芯片的性能能不能发挥出来，先进封装是关键一环。
LPU这类大芯片，需要把计算die、SRAM die、互联die通过2.5D或3D封装整合在一起。台积电的CoWoS封装是当前主流方案，靠硅中介层实现高带宽低延迟的die间互联。英特尔的EMIB嵌入式多芯片互联桥接方案，也是一条重要的技术路线。
HBM内存和GPU的封装集成同样依赖先进封装。HBM4堆叠层数达到12层，和GPU通过2.5D封装紧密集成，单芯片HBM容量288GB，带宽是HBM3E的2.75倍。
先进封装产能已经是AI芯片出货的核心瓶颈之一。台积电CoWoS产能一直在扩，但还是供不应求。封装环节的良率、产能、交付周期，直接影响整条推理算力产业链的供给节奏。
第三层：内存与存储
推理算力的内存层次结构正在变得越来越复杂。
片上SRAM是LPU的核心特征，容量从单芯片数百MB到机架级聚合百GB，带宽到PB/s级。特点是延迟极低、带宽极高，但容量有限、成本高。
HBM4是GPU的标配内存，单芯片容量288GB，带宽比HBM3E提升2.75倍。容量大、带宽高，适合放完整的模型参数和大规模KV缓存。
主机DDR内存做第二层扩展，放不常访问的参数和长上下文的冷数据。
NVMe SSD做更底层的存储扩展，放模型权重和大规模数据集。
这种多级内存层次结构，要求推理调度软件能智能管理数据在不同内存层之间的流动，热数据放最快的内存里，冷数据下沉到成本更低的存储层。这是推理系统软件栈的核心技术挑战之一。
第四层：高速互联与网络
推理集群的互联架构，正在从传统以太网向专用高速互联演进。
机柜内的芯片间互联，LPU用96条112Gbps直连链路，GPU用NVLink第五代，机柜级互联带宽到数百TB/s，延迟微秒级。
机柜间的互联，传统以太网正在向CPO共封装光学和NPO近封装光学演进。CPO把光引擎和交换芯片共同封装，电信号传输距离从厘米级缩到毫米级，互连功耗能降30%到50%，端口密度也大幅提升。英伟达Spectrum-X CPO交换机已经全面量产，激光器数量减少约75%，功耗降低约80%，设备平均故障间隔提升约10倍。
超节点架构是另一个重要方向。通过专用高速互联协议，把数十到数百颗计算芯片整合成统一编址、低时延、高带宽的协同计算系统，解决传统集群的通信墙和内存墙问题。英伟达的NVL72、国内厂商的各类超节点方案，都在沿这个方向走。
第五层：散热与供电
推理集群的功耗密度一直在上升，散热和供电正在从配套环节变成制约算力部署的关键工程瓶颈。
单机柜功耗从早期的十几kW，涨到现在的120kW甚至240kW以上。传统风冷根本压不住这么高的功耗密度，全液冷成了标配。冷板式液冷、浸没式液冷、CDU冷却液分配单元精准控温，构成完整的液冷散热体系。
供电架构也在升级。从传统12V供电向48V HVDC高压直流供电演进，减少供电转换损耗，提升效率。800V HVDC供电方案已经在新一代AI机架中采用。
散热和供电的工程复杂度，正在从配角变成决定数据中心建设成本和部署周期的核心因素。液冷基础设施建设、供电容量扩容、PUE优化，都是AI推理算力大规模落地必须啃下来的硬骨头。
第六层：软件栈与生态
硬件性能最终能发挥出几成，取决于软件栈的完善程度。
推理软件栈分几个核心层次。底层是编译器，把模型计算图编译映射到具体硬件的执行指令，对LPU这种确定性架构来说，编译器质量直接决定性能上限。中间层是推理运行时，管模型加载、内存管理、任务调度、多硬件协同。上层是模型服务框架，提供标准化的推理服务接口，支持并发调度、批处理、弹性扩缩容。
软件生态是国产推理芯片面前最大的一座山。CUDA生态攒了十几年，从底层算子库到上层框架形成了完整体系，开发者迁移成本极高。国产芯片得在算子覆盖率、框架兼容性、调试工具链、开发者社区这些方面持续砸钱砸人，才有可能建立起有竞争力的生态。
图3：Vera Rubin NVL72超节点机柜内部结构图
五、推理算力接下来往哪走
专用推理芯片的崛起，背后是AI应用场景的深刻变化。
大模型正在从训练阶段走向大规模推理落地。智能体应用要实时响应，用户对延迟的容忍度极低，每次交互都要求秒级甚至亚秒级反馈。长上下文推理要处理数十万甚至上百万Token的输入，KV缓存的容量和访问带宽成了核心瓶颈。多模态推理要同时处理文本、图像、音频、视频，计算模式更复杂。
这些需求正在推动推理算力架构持续演进。
短期看，GPU加LPU异构协同会成为高端推理集群的主流形态。GPU扛训练和高吞吐量批量推理，LPU扛低延迟交互式推理，两者靠统一软件栈协同。推理服务的成本结构也会从单纯的GPU采购成本，转向异构硬件组合的总体拥有成本。
中期看，推理芯片的专用化程度会继续加深。存算一体架构把计算单元和存储单元深度融合，消除数据搬运瓶颈，在特定推理场景下能效比有机会提升一个数量级。光计算架构利用光的天然并行性和低延迟特性，在矩阵乘法等核心算子上展现出潜力。模拟计算架构利用模拟电路的连续特性实现极低功耗推理。这些新型架构目前大多还在实验室或早期商用阶段，但长期有可能重塑推理芯片的技术格局。
长期看，推理算力会走向更异构、更专用、更分布式的形态。不同场景、不同模型、不同延迟要求，对应不同的最优硬件组合。算力调度软件会成为核心竞争力，能根据任务特征自动选最优硬件、动态分配资源、优化端到端延迟和成本。
六、国产推理算力的机会和挑战
对国内产业来说，推理算力的架构变革既是挑战也是机会。
难处很现实。高端GPU、HBM内存、先进封装、高速互联这些核心环节，国内和国际领先水平还有明显差距。CUDA生态的壁垒短期内很难绕过去，大规模部署的稳定性和可靠性需要时间来验证。
机会在于，架构变革给后来者留了换道的窗口。LPU、存算一体、光计算这些新架构，全球都还在早期探索阶段，国内企业有机会在新赛道上和国际巨头站在同一起跑线。推理场景对通用性的要求比训练低，专用芯片的生态壁垒也相对低一些，更容易实现单点突破。
国内已经有一批企业在不同技术路线上持续投入。华为昇腾走通用GPU加全栈自研路线，在端到端自主可控方面走在前面。寒武纪、海光等企业在通用推理芯片上持续迭代。曦智科技等企业在光计算方向探索。长鑫存储在DRAM领域的突破，为国产HBM的发展打下了基础。
国产推理算力真正的突破，不在单芯片性能指标的对标，在完整产业链的协同和大规模真实场景的验证。从芯片设计、先进封装、内存制造、高速互联到软件生态，每个环节的突破都需要长期投入和产业协同。
AI算力正在经历一场不太显眼但影响深远的架构调整。
前几年大家比的是谁的GPU多、谁的集群大。但大模型从训练走向推理之后，算力竞争的核心正在从峰值吞吐量转向端到端推理效率、延迟确定性和总体拥有成本。LPU这类专用推理芯片的量产落地，不是要颠覆GPU，而是说明AI算力从通用走向专用、从单一走向异构，已经是进行时了。
下一代AI推理算力底座，会是GPU、LPU、ASIC、存算一体等多种架构的组合，靠先进封装、高速互联、液冷散热、智能调度软件整合成协同系统。硬件专用化和软件统一化，是这个阶段的两条主线。
算力的竞争正在从芯片层面上升到系统层面，从硬件层面上升到软硬协同层面。能在新架构里找准自己位置的企业，才有机会在下一轮算力格局里占到有利位置。
张星河zen
每天一份高质量研报，持续聚焦芯片半导体、AI基础设施、AI智能硬件、具身智能、光通信等硬科技方面的行业研究、产业链分析与技术拆解。
欢迎您的关注！
免责声明：本文仅为AI推理算力与芯片架构的技术科普与产业逻辑分析，不构成任何投资建议。
评论前必须登录！
注册