返回资讯中心
外部精选
软件工程
#开发者实时流

开发者推出av1gpu:CUDA AVIF编码器,同尺寸下比libaom快9倍

来源标题:Av1gpu – AVIF encoder in CUDA, 9× faster than libaom at the same size

av1gpu 用 NVIDIA GPU 的 CUDA 核心完成 AV1 静态图编码并输出 AVIF,同文件大小下比 16 线程 CPU 上的 libaom 快 9 倍,且仅占用约三分之一 CPU 核心。它比同卡内置的 NVENC 快 17 倍,文件还小约 26%;输出比 JPEG 小 86%、比 WebP 小 31%,支持 4:4:4、10-bit、无损和透明通道。该工具为拥有超 1500 万张照片的论坛 Bellazon 开发,单张 70W 显卡处理全部存档约需 7 天。

Hacker News 最新maddog1072026/11/3 · 14 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

左图:原始 12 MP JPEG,6,031 KB。右图:av1gpu 在默认质量下生成的 AVIF,421 KB。 图片:Jakob Montrasio 的 Untitled,CC BY 2.0。 简而言之:av1gpu 在 NVIDIA GPU 上将 JPEG 转换为 AVIF,速度比在 16 个 CPU 线程上运行的 libaom 快 9 倍,文件大小相同,且只占用三分之一个 CPU 核心。生成的文件比 JPEG 小 86%,比 WebP 小 31%,并且比 NVENC(同一 GPU 内置的 AV1 编码器)快 17 倍。支持 4:4:4、10 位、无损和透明度。一个预编译的二进制文件,无需 CPU 集群。 一个用于 AV1 静态图像的 CUDA 编码器,可输出 AVIF。模式搜索、分区、重建、环路滤波决策和熵编码全部在 GPU 的通用 CUDA 核心上运行。它不使用 NVENC——GPU 的固定功能视频编码器,在同一显卡上 NVENC 慢 17 倍,生成的文件大约大 26%(见下文)。JPEG 输入也在 GPU 上解码,因此整批图像从 JPEG 码流到最终的 AVIF 字节都留在 GPU 内存中。 它是为 Bellazon 打造的,一个拥有超过 1500 万张照片的论坛:3200 万个文件(含缩略图)、50 万亿像素和 8.9 TB 的原始文件。在一块 70 W 的显卡上,整个存档大约需要 7 天的 GPU 时间,而服务器的 CPU 可以继续为网站提供服务。在论坛选择的质量下,AVIF 文件比目前提供的 WebP 小 40%,存储和传输量减少 1.5 TB(在同等质量下,av1gpu 的文件比 WebP 小 31%)。 在 NVIDIA L4(AWS g6.4xlarge)上转换了 99 张相机照片(478 MP,154 MB JPEG),实时录制: 该运行包含 CUDA 启动时间;在更长的批次中,速度会稳定在以下数据。 在 AWS g6.4xlarge(NVIDIA L4,AMD EPYC 7R13,16 个 vCPU)上,使用 100 张来自 Open Images 的公开照片(0.18 至 24 MP),对比 avifenc 1.4 搭配 libaom 3.13.1(tune=iq)和 SVT-AV1 4.2.0(tune=3,其静态图像模式),每个 vCPU 运行一个 avifenc,使用 avifenc 的默认设置(会自动对图像进行分块)。完整数据、方法和日志:docs/RESULTS.md;使用 Benchmarks 复现。 速度与文件大小对比:向上表示更快,向左表示文件更小。从 libaom speed-6 的大小到 +6% 的范围内,单块 GPU 上的 av1gpu 比在全部 16 个线程上运行的最佳 CPU 编码器快 4.4–8.6 倍(在 SVT-AV1 预设之间插值)。对于最小的文件,SVT-AV1 的慢速预设表现更好(预设 2:−5.1%,4.6 MP/s);av1gpu 自身的 --preset slow 尚未在 L4 上计时。对 CPU 侧进行调优(-march=native、LTO、SVT-AV1 的 PGO、最佳线程划分、无分块)可使其在相同文件下快 1–15%;在 libaom-speed-6 大小下,av1gpu 则快 7.0–8.4 倍(详情)。 每个编码器都有一个“小文件”设置和一个“快速”设置,因此有两种公平的对比。第三种将 av1gpu 与 NVENC(同一 GPU 内置的 AV1 硬件编码器)进行比较。 在相同文件大小下,av1gpu 比同时在全部 16 个 CPU 线程上运行的 libaom 快 9.1 倍,并且几乎让 CPU 空闲(0.3 个核心)。SVT-AV1 以预设 6(49 MP/s,文件大 2.1%)和预设 4(16 MP/s,文件小 2.6%)夹住相同大小。 比两者都快 2.2–2.3 倍,且 av1gpu 的文件增长更少:相比 libaom speed 6 为 +5.7%,而 SVT-AV1 预设 9 为 +9.8%,libaom speed 9 为 +15%。 av1gpu 使用 0.4 个 CPU 核心;CPU 编码器需要全部 16 个线程。对于静态图像,libaom speed 10 并不比 9 快,并且当每一帧都是帧内时,SVT-AV1 将预设 10–13 作为 9 运行。 比 GPU 自带的 AV1 编码器快 17 倍,文件小 21%。NVENC 是一个固定功能模块(L4 有两个),因此无论同时运行多少编码,其上限约为 16 MP/s,并且需要 4 个 CPU 核心为其解码 JPEG。在同等质量下,其文件比 libaom speed 6 的大 27.9%,比 libaom speed 9 更差(在 76 张高度为偶数的照片上;我们使用的图像处理管线在解码奇数高度时色度错误,这使得在全部 99 张上为 +29.5%)。通过 ffmpeg av1_nvenc 在其最佳质量设置(-preset p7 -tune uhq)下对 99 张照片进行了测试;详情见 docs/RESULTS.md。 在其最快设置下,比专用的 AVIF 编码卡更快。Bluedot 的 Pulsar-AVIF 运行在 AMD Alveo U250 FPGA 卡(约 11,000 美元)上,据称在 Kodak 集(24 张 768 × 512 的图像,一次编码 24 张;web.dev,2023)上达到 409.85 图像/秒。一块 L4(租金约为每小时 0.80 美元)在相同图像上使用 --preset turbo3 --small-preset none 达到 645 图像/秒(计入 CUDA 启动时间为 522),使用 --small-preset none 为 365,使用默认设置(将低于 1 MP 的图像发送到其较慢预设)为 152。Pulsar 的质量设置和文件大小未公开,因此此处仅比较速度(详情)。 编码器 MP/s 文件 vs libaom s6 文件 vs WebP CPU 核心 av1gpu 默认,GP_ENCODERS=4 261 +0.1 % −30.6 % 0.3 av1gpu --small-preset none 299 +2.2 % 0.3 av1gpu --preset turbo3 --small-preset none 420¹ +5.7 % 0.4 libaom speed 6,16 × avifenc 29 0 −29.6 % 16 libaom speed 9,16 × avifenc 188 +15.0 % −18.7 % 16 SVT-AV1 预设 2,16 × avifenc 4.6³ −5.1 % −33.8 % 16 SVT-AV1 预设 4,16 × avifenc 15.5³ −2.6 % −31.7 % 16 SVT-AV1 预设 6,16 × avifenc 49³ +2.1 % −27.4 % 16 SVT-AV1 预设 8,16 × avifenc 136³ +7.7 % −23.6 % 16 SVT-AV1 预设 9,16 × avifenc 183³ +9.8 % −22.4 % 16 WebP (cwebp -m 4) +42.1 %⁴ 0 NVENC AV1 (ffmpeg av1_nvenc -preset p7 -tune uhq),同时 8 个 16² +29.5 %⁵ −11.3 % 4 ¹ 开启小图像预设时,turbo3 以 331 MP/s 运行,+1.2%。 ² 相同 L4 类型,单独会话,99 张照片;av1gpu 的默认设置(当时为 v0.3.0)在其旁边以 116 MP/s 运行。 ³ 在 c6a.4xlarge 上,相同的 EPYC 7R13 搭配 16 个 vCPU,99 张照片;libaom 在旁边以 28.7 和 186.4 MP/s 运行,其 speed 6 文件和分数与主运行完全相同。 ⁴ 使用每个 WebP 自身的 ICC 配置文件评分。首次发布的数据(+45.1%,以及 av1gpu 相对 WebP 的 −31.2%)在 dwebp 的 PNG 中丢失了它,这使得 13 张具有非 sRGB 配置文件的照片看起来颜色偏移。 ⁵ 用于 NVENC 的图像处理管线在解码奇数高度的照片时色度错误;在 76 张偶数高度照片上,NVENC 为 +27.9%(详情)。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →