返回资讯中心
外部精选
软件工程
#开发者实时流

绕过AVX2税第4部分:Ryzen 7430U上ONNX CPU EP与OpenVINO、DirectML对比

来源标题:Bypassing the AVX2 Tax,Part 4:ONNX CPU EP on Ryzen 7430U(Vs OpenVINO,DirectML)

在Firebat R3(Ryzen 5 7430U)上运行Fruit Inspector流水线时,ONNX Runtime的CPU执行提供器(CPU EP)性能胜出。对比了CPU、OpenVINO和DirectML三种引擎,最终公开的zip包仅包含lib\cpu,OpenVINO和DirectML留在开发树中未进入演示归档。该流水线使用YOLOX-nano检测、跟踪和LightGBM(ONNX)分级,在纯CPU上实时运行。

Hacker News 最新olesha-ai2026/11/4 · 今天6 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

机器学习 编程 软件工程 人工智能 绕过 AVX2 税(第 4 部分):AMD 上场与 Windows 发布 olesha-ai 3 分钟阅读· 刚刚

Firebat R3(Ryzen 7430U):CPU EP 胜出。公开 zip:仅 lib\cpu。 -同样的 Fruit Inspector 流水线;比较 CPU、OpenVINO 和 DirectML。 -openvino 和 directml 保留在开发树中,不在演示归档里。 -入门级 PC 往往是紧凑型小主机,而不是 Xeon 或独立 NVIDIA 显卡。 -我的机器:Firebat R3,Ryzen,集成 Radeon。 -操作员想要一个文件夹:exe、dll、模型;不要 Python,不要“安装 CUDA”。 -Fruit Inspector:YOLOX-nano、跟踪、LightGBM(ONNX)、3×3 网格,Cat 仅在中心格。 -Nim、ONNX Runtime 1.23.x、三个引擎 DLL;PanTilt 导轨、传送带产品逻辑。 第 4 部分:Windows 上的 AMD、最快的 EP、不含臃肿演示的发布布局。 -摄像头:Media Foundation,CPU 上的 NV12(采集不在 GPU 上)。 -检测与跟踪:YOLOX 640×640,fruit_infer.dll。 -分级:44 个特征 → Cat(ONNX/LightGBM),Cat 在 CPU 上。 按回车或点击以全尺寸查看图片 测试机:Firebat R3,Ryzen 5 7430U,12 线程,Radeon iGPU;完整流水线实时运行。 -问题在于 OpenVINO 或 DirectML 与 CPU EP 的对比,而不是它能否启动。 -文件夹:lib\cpu、lib\openvino、lib\directml。 -DirectML:NuGet ORT DirectML 1.23 + DirectML.dll。 -切换:settings.json(ort_provider)或 exe 中的 Settings,无需重新构建。 -YOLO EP 未烘焙进 fruit_infer.dll:settings + exe 旁边的 dll。 -推理约 6.8–7.5 ms;M1 约 77–88 fps(YOLO 通过)。 -lib\openvino;我的包里有 Intel CPU 插件,没有 AMD iGPU。 -ORT OpenVINO 的“GPU”指的是 Intel,不是 Radeon。 -lib\directml;推理约 11 ms,而 CPU 约 7 ms(YOLOX-nano 640)。 -小网络 + iGPU 上的 D3D12/DML:开销;开发树,不是 R3 上的生产环境。 AMD 上线时:cpu。DirectML 仅在你自己的基准测试之后。R3 上没有 CUDA。 -build_release_cpu.bat → release_bundle:lib\cpu + MSVC → demo/GitHub。 -build_release_all_ep.bat → + openvino、directml、cuda(如果 lib\cuda\ 存在)。 -HP 15-dk,1650 Ti:暂缓;那里用 CUDA,不是 DML。 -解压后在 settings 中更改 EP,同一个 exe。 OpenVINO 移出公开归档:体积和操作员麻烦。 -之前:Linux、无 AVX2、i3–2120、11–15 fps、无非法指令。 -第 4 部分:AMD Windows,迷你 PC 上线;更多 SIMD ≠“iGPU 更快”。 阶梯,相同代码(YOLO + 跟踪 + LightGBM): -i3–2120、Linux、无 AVX2:约 11–15 fps,仍然实时 -演示:https://github.com/olesha-ai/fruit-inspector-demo -SDK:https://github.com/olesha-ai/fruit-inspector-sdk-win64 -PanTilt:https://github.com/olesha-ai/pan-tilt-ai-tracker

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →