故人笔记
搜索
归档
关于
主页
Tags
量化
HBM 只增 3%,吞吐却涨 30 倍:NVFP4 KV Cache 与 AI 推理的内存墙
HBM 增 3% 吞吐涨 30 倍。拆 NVFP4 两级缩放与 KV 缓存数据流,附可复现显存估算脚本。