标签：缓存

【随笔】推理准入控制：请求进来之前，先给KV缓存留出位置

KV缓存量化可以减少单个Token的存储成本，服务仍然需要决定同时接纳多少请求。十个短问答与十份长文档占用的资源完全不同；只限制HT...

2026-11-08阅读(25)

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在...

2026-11-08阅读(23)

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在...

2026-11-05阅读(47)

我们做后端开发，尤其是做电商、交易这类对数据敏感的系统，缓存和数据库的一致性几乎是绕不开的话题。面试时也经常被问到：缓...

2026-11-05阅读(39)

Redis BZPOPMIN 命令详细教程 BZPOPMIN 从多个有序集合中移除并返回分值最低的成员，若所有给定集合都为空则阻塞连接ÿ...

2026-11-02阅读(51)

1、每次都发送历史，模型也要全部重新计算吗？模型每生成一个token都得根据前面所有的token计算得来，如果每轮都重...

2026-10-30阅读(56)

32 · 三处保序等价优化：目录缓存、共享量化、RoPE 复用本篇对应源码：main/kmcu.c · host_verify.c...

2026-10-28阅读(52)

👋 关于作者你好，这里是一条泥憨鱼　|　专注于后端开发、AI 前沿技术与计算机基础。这道题在后端面试里出现频率很高。表面上问...

2026-10-28阅读(101)

Python 的 import 为什么第二次几乎不要钱？sys.modules 缓存与模块单例的代价结论先行：import 的「第...

2026-10-25阅读(60)

一、性能优化架构┌───────────────────────────────────────────────────────────────────────...

2026-10-22阅读(58)