HBM 只增 3%,吞吐却涨 30 倍:NVFP4 KV Cache 与 AI 推理的内存墙

HBM 增 3% 吞吐涨 30 倍。拆 NVFP4 两级缩放与 KV 缓存数据流,附可复现显存估算脚本。

2026-11-06 · 甲拉古日