返回资讯中心
外部精选
软件工程
#开发者实时流

BF16 分块让 A40 上 GemV 提速 1.499 倍,动态能耗降 28.5%

来源标题:Show HN: 1.499x speedup and 28.5% dynamic energy drop on A40 via BF16 tiling

在 NVIDIA A40 上采用 BF16 分块(tiling)后,L=4608 的 GemV 基准相比 fp32 提速 1.499 倍,动态能耗下降 28.5%。L=9216 时提速 1.477 倍、能耗下降 27.1%,BF16 中位耗时 40.679ms,fp32 为 60.064ms。

Hacker News 最新ktractor1232026/11/17 · 昨天4 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

[Gates 1-3(rand_init,2-sw)@ L=384] L2(h)=0.0e+00 L2(dE)=0.0e+00 gpu_f32_diff=0 dec_f64_rate=0.00e+00 |de|/|e|=0.00e+00 |dm|=0.00e+00(|m|=0.0043) [Gates 1-3(unif_init,2-sw)@ L=384] L2(h)=0.0e+00 L2(dE)=0.0e+00 gpu_f32_diff=0 dec_f64_rate=0.00e+00 |de|/|e|=0.00e+00 |dm|=0.00e+00(|m|=0.9400) [Gates 1-3(rand_init,2-sw)@ L=768] L2(h)=0.0e+00 L2(dE)=0.0e+00 gpu_f32_diff=0 dec_f64_rate=0.00e+00 |de|/|e|=0.00e+00 |dm|=0.00e+00(|m|=0.0064) [Gates 1-3(unif_init,2-sw)@ L=768] L2(h)=0.0e+00 L2(dE)=0.0e+00 gpu_f32_diff=0 dec_f64_rate=0.00e+00 |de|/|e|=0.00e+00 |dm|=0.00e+00(|m|=0.9418) L=4608 sweeps=10 | bf16 中位数=10.204ms(IQR 0.005) | fp32 中位数=15.291ms(IQR 0.013) | int8 中位数=13.356ms | 加速比(fp32/bf16)=1.499x L=9216 sweeps=10 | bf16 中位数=40.679ms(IQR 0.015) | fp32 中位数=60.064ms(IQR 0.020) | int8 中位数=53.072ms | 加速比(fp32/bf16)=1.477x GPU:NVIDIA A40 基线 P_idle = 73.02 W [NVML L=4608 sweeps=4500] E_dyn_fp32=261.164 mJ/sw | E_dyn_bf16=186.735 mJ/sw | 能耗比=1.399x(降低 28.5%) [NVML L=9216 sweeps=1200] E_dyn_fp32=1083.034 mJ/sw | E_dyn_bf16=788.288 mJ/sw | 能耗比=1.371x(降低 27.1%) NVIDIA A40 GemV Skewed-Tiling 验证 状态:验证通过(3/3 大尺寸均具备统计显著性) 目标架构:NVIDIA A40(48GB GDDR6,PCIe) 性能提升:相比最优对照组,L=2048 时约 1.05x,L=8192 时 1.119x。 如需采购咨询、技术文档资料包或定制制造规格:

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →