量化 on 故人笔记 - 甲拉古日的自留地 https://grer.cn/tags/%E9%87%8F%E5%8C%96/ Recent content in 量化 on 故人笔记 - 甲拉古日的自留地 Hugo zh-CN 川公网安备51343702000108号 | 蜀ICP备2021023818号-2 | 萌ICP备20223334号 © 2026 甲拉古日 Fri, 06 Nov 2026 09:20:00 +0800 HBM 只增 3%，吞吐却涨 30 倍：NVFP4 KV Cache 与 AI 推理的内存墙 https://grer.cn/blog/nvfp4-kv-cache-memory-wall.html/ Fri, 06 Nov 2026 09:20:00 +0800 https://grer.cn/blog/nvfp4-kv-cache-memory-wall.html/ HBM 增 3% 吞吐涨 30 倍。拆 NVFP4 两级缩放与 KV 缓存数据流，附可复现显存估算脚本。