标签：vllm

Kestrel_VLLM - 24 · GDN 线性注意力上 GPU：递推状态、conv 历史与往返成本

24 · GDN 线性注意力上 GPU：递推状态、conv 历史与往返成本一句话：Gated DeltaNet（GD...

2026-10-30阅读(50)

32 · 三处保序等价优化：目录缓存、共享量化、RoPE 复用本篇对应源码：main/kmcu.c · host_verify.c...

2026-10-28阅读(41)

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在...

2026-10-27阅读(92)

18 · 投机解码位级对拍收口：batch 与 M1 一致，注意力路径与 CPU 逐字节对齐一句话：把「M>1...

2026-10-24阅读(63)

本地部署大模型实战：Ollama、llama.cpp、vLLM 怎么选（附完整命令）LLM 系列又一篇。之前讲过模型科...

2026-10-03阅读(312)

8卡海光Z100L服务器实战：从零部署Qwen2.5-32B大模型全流程指南国产化算力平台正在成为AI基础设施的新选择。海光Z100L作为国产高性能计算卡的...

2026-09-19阅读(203)

一句话让Agent变成昇腾专家，不必再找人问了。评测入口：（To Agent）请按这个开源仓接入昇腾图...

2026-09-16阅读(232)

【推理引擎】大模型推理服务部署、性能调优与生产实践：SGLang、vLLM、TensorRT-LLM 文章目录【推理引擎】大模型推理服务部署、性能...

2026-09-13阅读(225)

10 番外：FlexAttention 是什么，以及 DFlash2 之谜的完整侦破系列：GLM-5.3-NVFP4...

2026-09-01阅读(158)

1. 引言：具身智能的“基础模型”时代 1.1 从单一任务到通用策略的范式转移在2024年至2025年初的这段时间里，机器人学...

2026-08-11阅读(177)