返回资讯中心
外部精选
软件工程
#社区热议

面向A40的BF16分块方案实现1.499倍加速和28.5%动态能耗下降

来源标题:Show HN: 1.499x speedup and 28.5% dynamic energy drop on A40 via BF16 tiling

在NVIDIA A40上使用BF16分块(tiling)后,该实验在L=4608时相对fp32取得1.499倍加速,动态能耗下降28.5%。L=9216时加速为1.477倍、能耗下降27.1%,int8基线均慢于bf16。测试还显示GPU空闲功耗为73.02 W。

Hacker Newsktractor1232026/11/17 · 昨天4 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

[Gates 1-3 (rand_init, 2-sw) @ L=384] L2(h)=0.0e+00 L2(dE)=0.0e+00 gpu_f32_diff=0 dec_f64_rate=0.00e+00 |de|/|e|=0.00e+00 |dm|=0.00e+00 (|m|=0.0043) [Gates 1-3 (unif_init, 2-sw) @ L=384] L2(h)=0.0e+00 L2(dE)=0.0e+00 gpu_f32_diff=0 dec_f64_rate=0.00e+00 |de|/|e|=0.00e+00 |dm|=0.00e+00 (|m|=0.9400) [Gates 1-3 (rand_init, 2-sw) @ L=768] L2(h)=0.0e+00 L2(dE)=0.0e+00 gpu_f32_diff=0 dec_f64_rate=0.00e+00 |de|/|e|=0.00e+00 |dm|=0.00e+00 (|m|=0.0064) [Gates 1-3 (unif_init, 2-sw) @ L=768] L2(h)=0.0e+00 L2(dE)=0.0e+00 gpu_f32_diff=0 dec_f64_rate=0.00e+00 |de|/|e|=0.00e+00 |dm|=0.00e+00 (|m|=0.9418) L=4608 sweeps=10 | bf16 中位数=10.204ms(IQR 0.005) | fp32 中位数=15.291ms(IQR 0.013) | int8 中位数=13.356ms | 加速比(fp32/bf16)=1.499x L=9216 sweeps=10 | bf16 中位数=40.679ms(IQR 0.015) | fp32 中位数=60.064ms(IQR 0.020) | int8 中位数=53.072ms | 加速比(fp32/bf16)=1.477x GPU:NVIDIA A40 基线 P_idle = 73.02 W [NVML L=4608 sweeps=4500] E_dyn_fp32=261.164 mJ/sw | E_dyn_bf16=186.735 mJ/sw | 能耗比=1.399x(降低 28.5%) [NVML L=9216 sweeps=1200] E_dyn_fp32=1083.034 mJ/sw | E_dyn_bf16=788.288 mJ/sw | 能耗比=1.371x(降低 27.1%) NVIDIA A40 GemV 倾斜分块验证 状态:验证通过(3/3 大尺寸均具有统计分离度) 目标架构:NVIDIA A40(48GB GDDR6,PCIe) 性能提升:在 L=2048 时约为 1.05x,在 L=8192 时较最优对照组为 1.119x。 如需采购咨询、技术文档包或定制制造规格:

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →