
同一台GTX 1650 Ti笔记本上,Linux CUDA比Windows DirectML推理帧率更高
来源标题:Benchmarking Linux CUDA EP vs. Windows DirectML on Mobile GTX 1650 Ti(I5-10300H)
在i5-10300H加GTX 1650 Ti的惠普笔记本上,Debian系统下用CUDA执行推理的帧率高于Windows下DirectML的106–111 fps,而CPU和OpenVINO路径帧率更低。测试使用相同摄像头、相同settings.json和同一YOLOX-nano算法,Linux通过CUDA EP运行。作者称两平台使用同一套产品算法,未修改隐藏数字。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Linux CUDA 计算机视觉 ONNX 绕过 AVX2 税(第 6 部分):Linux 上同样的 HP,CUDA 再次胜出。 olesha-ai 3 分钟阅读· 刚刚
与第 5 部分相同的笔记本,Debian,没有 DirectML。cpu/openvino 上 fps 更低,cuda 上更高。数据为实测。Windows 和 Linux 上的死代码就是死代码:留着备用,不用时删掉。 所有平台共用一个产品算法。没有隐藏数字,没有炒作。 第 5 部分在这台 HP Pavilion Gaming(i5–10300H,GTX 1650 Ti)的 Windows 下:DirectML 106–111 fps;CPU 和 OpenVINO 约 66–73 fps。 桌上同一台硬件:Debian bookworm 便携版,同一摄像头,同一 settings.json。 Linux 上没有 DirectML。cuda EP 加二进制旁的 lib/cuda。 第 5 部分覆盖了 Comet Lake、D3D12、Media Foundation;此处不再重复。 本次运行:V4L2、Konsole、tail -f 看 run.log,同时切换 ort_provider,并在风扇下检查 1650 Ti 是否加载。 Fruit Inspector:传送带线,YOLOX-nano,跟踪,中心格中的 Cat。 摄像头走 V4L2;MJPEG 1920×1080 约 30 fps(摄像头上限,非推理)。 帧预处理在 CPU 上,与 Windows 相同;日志中的 pre 与 EP 无关(cpu、openvino、cuda)。 在 Settings 或 settings.json 中切换 EP;fruit_infer 从 lib 加载 onnxruntime。无需重新编译。 按回车或点击查看全尺寸图片 启动日志:i5–10300H,OMP_NUM_THREADS=8,CUDA 探测报告 1650 Ti。 在 cuda 上:want=cuda got=cuda,随后 [infer] 跳到另一个数量级,不是小幅提升。 cpu:[infer] 约 50–66 fps,tmin 约 7–10 ms。openvino:约 48–66 fps。 Linux cpu/openvino 低于第 5 部分同一笔记本在 Windows 上的表现:不同 OS、便携版 ORT、调度器。 10300H 上的 OpenVINO 并没有让 YOLOX-nano 吞吐翻倍;tmax 尖峰不同,但不是 2 倍墙钟时间。 这是基线观察,不是推销 OpenVINO。 cuda:tail 约 2.9–3.3 ms tmin,[infer] 131–153 fps。USB 摄像头仍约 30 fps,UI 响应性改善。 Optimus 笔记本:cuda 必须显示 GPU 负载,而不仅仅是探测成功。 Linux cuda 上 131–153 fps vs Windows 上 DirectML 约 106–111 fps(第 5 部分):不同 EP 和 OS。 单次有记录的运行,不是合成排行榜。 在这台 HP 的 Linux 上跑 YOLO:Optimus 检查后选 cuda;cpu 和 openvino 留作基线。 演示:https://github.com/olesha-ai/fruit-inspector-demo。Windows 0.11.0:cpu、openvino、directml 在一个 zip 里。 Linux:Fruit_Inspector_linux_x64.zip(应用、模型、cpu、openvino)。 CUDA 附加包:Fruit_Inspector_linux_x64_cuda.zip → 解压到同一文件夹下的 lib/cuda。见 GitHub 的 Releases。 第 4 部分:AMD Windows,cpu。第 5 部分:这台 HP,Windows,DirectML。第 6 部分:这台 HP,Linux,cuda。 更早的部分:pre-AVX2 Intel,11–15 fps,无 Illegal instruction。没有通用的“启用 GPU”;要匹配硬件和 OS。 https://medium.com/@olesha-ai/bypassing-the-avx2-tax-part-5-intels-reality-check-directml-redemption-and-the-openvino-5cbbb92732c8 目标:在本地硬件上做推理和机器视觉,不依赖云,不订阅。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。