大模型无损压缩？100%还原还省一半空间——这个“不可能“，我做出来了

都说有得必有失，但今天这个故事，讲的是怎么"白拿"。

90%的人压缩大模型，都默认必须牺牲精度。今天我要告诉你：不用。

单元1 | 一个听起来像悖论的问题

所有做大模型部署的人，都会遇到同一个噩梦：模型太大。

一张 4090，24GB 显存，看起来很大，装一个 1B 的模型都得精打细算，更别说那些训练得漂漂亮亮的大模型了。

于是有人想：压缩呗。

量化、剪枝、蒸馏……这些词你肯定都听过。但它们有一个共同点——都有损。模型压缩完之后，说话开始变笨了，答案开始胡说八道了，那个 ppl——困惑度——的数字，蹭蹭往上涨。

我见过太多人因为这个失眠。训练了一个月的模型，压完只剩六成功力，那感觉就像……辛苦养大的孩子，突然失忆了。

所以当我告诉别人，我要做"无损压缩"的时候，所有人都笑了：压缩哪有无损的？你这不是既要马儿跑，又要马儿不吃草吗？

今天这篇，就是把"不吃草的马"解剖给你看。

但在我揭晓答案之前，你得先认识一下，模型权重到底长什么样。

单元2 | bf16 解剖课：权重里藏着大量"废话"

大模型的权重，现在普遍用 bf16 存储。

什么是 bf16？就是 16 位浮点数：1 位符号、8 位指数、7 位尾数。

翻译成人话：符号决定正负，指数决定数量级，尾数决定精度。

每个权重，就是这样一个 16 个比特的小盒子，一个不多，一个不少。

但是，这里有个绝大多数人没注意到的细节：相邻的权重，它们的指数往往非常接近。

什么意思？想象一群人的身高，都集中在 1.70 米到 1.75 米之间。你给每个人单独记"1.70几米"，多浪费——你先记下"大家基本都是 1.72 米"，然后每个人只记"我比基准高多少、低多少"，信息一点不少，字却省了一大半。

BF16X 干的就是这件事：每 16 个权重，共享一个最大指数，然后每个权重只存一个 3 位的差值。

没错，就这么简单。省掉的，是那些重复到不能再重复的指数位。

原理听起来越简单，工程实现越折磨人。接下来，才是真正的故事。

单元3 | 核心机制：3bit 差值，把 16bit 压到 11.5bit

我们算一笔账。

原始 bf16，一个权重 16 比特。BF16X 之后呢？16 个权重共享 1 个 8 位指数，均摊下来每个权重 0.5 位；加上 1 位符号、7 位尾数、3 位差值——有效位宽大约 11.5 位。

16 除以 11.5，压缩比 2.08 倍。也就是说，2161MB 的模型文件，压完只剩 1041MB。

但这里有个坑：差值只有 3 位，最多表示 0 到 7。万一某个权重的指数比最大值低得多呢？

这就是 BF16X 最聪明的地方：大约 1.9% 的权重会出现这种"溢出"情况，它不硬塞，而是把这一小撮"刺头"单独挑出来，放进一个溢出表，稀疏存储。

解压的时候，主体部分一个 Triton 内核直接重建，溢出部分另一个内核单独修复。两个内核跑完，输出和原始 bf16 的位模式，逐比特完全一致。

100% 无损。一个比特都不差。

你可能会问：代价呢？天下哪有免费的午餐？

单元4 | 代价：36ms 到 105ms，这顿饭值不值

有。而且很直白：速度。

原始 bf16 推理，一次前向 36 毫秒。BF16X 要实时解码，105 毫秒。慢了差不多 3 倍。

听起来很亏对吧？但你得看换来什么：GPU 显存从 2.2GB 降到 2.0GB，磁盘空间省一半多。而如果走 CPU 流式方案，显存能压到 0.9GB——不到原始的一半。

而且别忘了那个最要命的数字：ppl。原始 56.02，BF16X 之后，还是 56.02。

对比一下 4-bit 量化：ppl 直接涨到 61.5，质量损失超过 10%，还得靠微调补救。BF16X 一分钱精度没掉，只是多花点时间。

这就像……一个无损的 ZIP，比有损的 JPEG 慢，但放大看，每一颗像素都一模一样。你要给甲方交付、要跑线上服务，你敢拿 JPEG 糊弄吗？

速度的问题，方向也已经清楚了：CUDA graph 一次就能捕获全部 168 层，理论上能把解码开销基本抹平。现在是缓冲时序的 bug 还没修完——但这已经是黎明前了。

说到 bug，我得跟你聊聊，那三个差点让人崩溃的深夜。

单元5 | 三个 bug 之夜：Triton 内核调试实录

这个项目最有意思的，不是原理，是工程。

Triton 内核，很多人听说过，写起来像 Python，跑起来像 CUDA。但"像"是原罪。我踩了三个坑，每一个都足够让人怀疑人生。

第一个坑，叫"符号扩展"。

Triton 里的右移，默认是算术右移。什么意思？一个 int32 的负数，最高位是 1，右移的时候，高位补的全是 1。我压缩好的位流，只要某个字最高位是 1，解压出来就有 10% 的权重是错的。

10% 的权重错是什么概念？模型直接变成智障。而且它错得很有规律——规律到你会怀疑，是不是自己的数学出了问题，而不是代码。

第二个坑，更阴险。尾数跨字边界的时候，我算了一个指针，指向"下一个字"，但它偶尔跟当前字是同一个。同一个 word 和自己 OR 两次，结果不变，代码不报错，数据看着也对——只有跨字边界的那一批元素，悄悄错了。

这种 bug 最折磨人：它不崩溃、不报错、大部分时候结果正确，只是偶尔错几个数字。你对着一个 99% 正确的模型，去找那 1% 的毛病，一找就是三天三夜。

第三个坑，是最荒诞的：.to(tl.int16)，Triton 里的类型转换，居然不是位重解释，而是数值转换。溢出修复写完，0x0000 被直接写进权重——那是真正的"一笔勾销"，把整个权重清零。

看到结果的那一刻，我反而笑了。因为这种 bug 的价值在于：修完之后，你手里的代码是真的懂了，不是碰巧能跑。

这三个 bug，每一个都在深夜两点半左右被我找到。修完的那一刻，我跑了一遍全模型逐比特对比，看着 assert 通过的那一行绿字——说句实话，比中彩票还爽。

因为那意味着：这个"不可能"，真的成了。

单元6 | 实测：RTX 4090 上的真数据

空口无凭，上数据。RTX 4090，24GB 显存，MiniCPM5-1B，168 层 Linear，全部 Triton 解码，没有任何 PyTorch 后处理。

注意看 ppl 那一列：不管怎么压缩，56.02，纹丝不动。而 4-bit 方案，61.5，涨了 10%。

解码内核快成什么样呢？单层 3.15M 权重，20 微秒。什么概念？一眨眼是 30 万微秒，你眨一下眼睛，这个内核已经跑完了 15 万次。

但我不打算把它吹成万能药。恰恰相反，接下来这段，是给你泼冷水的。

单元7 | 泼冷水：BF16X 不是银弹

三个你必须知道的事实。

第一，解码完还是 bf16。也就是说，计算的时候显存占用和原始一样，省下的空间主要靠 CPU 流式方案——把打包数据放在内存，用的时候 DMA 进来。这也是为什么极限能到 0.9GB。

第二，它只压 Linear 权重。归一化层、偏置、Embedding，一概不碰。

第三，也是最大的一刀：Embedding 动辄几百 MB，MiniCPM 的 embedding 就 400MB，不压缩。算下来 GPU 总省 10%——2.0 对 2.2GB。

听起来不多是吧？但换个视角：磁盘从 2.1GB 压到 1GB，省下的是实打实的部署成本、下载流量、加载时间。而且方向已经完全跑通，剩下的是把 10% 变成 30% 的工程问题，不是原理问题。

大模型压缩这条路，真正的难点从来不是算法，而是你敢不敢先要一个"一个比特都不能错"的答案。

结尾

我见过太多人做量化，第一步就是接受损失，然后安慰自己"损失一点点没关系"。

但 BF16X 这个故事想说的是：有些标准，不能因为难，就先自己降下来。

100% 无损，听着像强迫症，像洁癖，像技术人的执念。但恰恰是这种执念，在逼着整个行业往前走——因为当所有人都默认"压缩必须要有损"的时候，你能做到的极限，也只是别人的默认值。

无损压缩，2.08 倍，56.02 纹丝不动。

这三件事，任何一件单拎出来都不稀奇。但它们同时成立的时候，就是一件值得喝一杯的事情。

如果你也在做模型部署，或者正在为显存不够而失眠——把这条转发给你的同事，然后告诉他：别急着妥协，先问问自己，能不能做到一个比特都不差。

评论区聊聊：为了无损，你愿意多等多久？

https://github.com/dfytensor/bfloat16x