半精度模型（16位）解析

在我们深入了解量化本身之前，先来谈谈一个触手可及的简单方法：将模型保持为半精度模型！

半精度模型（16位）

在本次内容的开头，我们已经详细讨论了FP32、FP16以及新出现的BF16之间的区别。到这里，你可能会想要以FP16格式加载模型，或者如果你的GPU支持的话，会选择BF16（以获得完整的数值范围），对吗？

“是的，但我怎么知道我的GPU是否支持这种高级的BF16类型呢？”

很高兴你问了这个问题！PyTorch的CUDA模块有一个名为is_bf16_supported()的方法，它能准确告诉你答案。实际上，从一开始就确定你要使用的16位数据类型，可能是个不错的主意：

supported = torch.cuda.is_bf16_supported(including_emulation=False)
dtype16 = (<