
开发者逆向工程 Kendryte K230 NPU 编译器与模拟器
来源标题:I reverse engineered the Kendryte K230 NPU compiler and simulator
一名开发者通过个人分支为 Kendryte K230 芯片的 NPU 补全了从编译器到模拟器的完整工具链,使该芯片路径可在单一代码库中构建。该分支在上游提交 99431d9db 之上包含 174 个提交,上游的 nncase 和 nncase-kpu Python 包并不包含这些改动。项目同时支持已量化模型直接编译,以及无需校准数据集的 ONNX 模型导入。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
nncase 是一个神经网络编译器,它把训练好的模型转换成可由 AI 加速器运行的 .kmodel 文件。Kendryte K230 是一块小型 RISC-V 芯片,带有一个这样的加速器,即 NPU(神经网络处理单元),本项目中也称之为 KPU。这个分支让整条 K230 链路都可以从本仓库构建:编译器插件、板端运行时、NPU 模拟器,以及用于测试它们的工具。上游的 Python 包 nncase 和 nncase-kpu 不包含这些改动,因此 pip install nncase 无法复现下面的结果。该分支在上游提交 99431d9db 之上有 174 个提交。这是一个个人 fork,未获得 Canaan 的支持。
编译器 K230 目标的源码位于 modules/Nncase.Modules.K230,由命令行编译器 Nncase.Cli 加载。已经量化过的模型(已转换为 8 位数字)可以直接编译。带有 QuantizeLinear / DequantizeLinear 对的 ONNX 模型无需校准数据集即可为 K230 编译,onnxruntime 的 QOperator 模型也能导入。量化控制:导出并复用量化方案(--export-quant-scheme、--quant-scheme、--quant-scheme-strict-mode),以及校准图像的缩放或颜色选项(--calib-image-resize、--calib-bgr)。CombineQuantizePad 是一条图规则,把量化移到 Pad 之上,使数据经过 Pad 时仍保持 8 位。针对 K230 的正确性修复,其中包括 float16 归约、AI2D 图像单元上的半像素缩放,以及 1x1 转置卷积。可在 Windows 和 Linux 上基于 .NET 9 构建。
运行时 K230 运行时的源码位于 src/Native/src/runtime/k230:它通过 /dev/k230-gnne 驱动 NPU,并通过 /dev/mmz 分配内存。面向板端的 Python 绑定(nncaseruntime),为 riscv64 交叉编译。针对 Pad、Broadcast 和 GetItem 的更快的 CPU kernel。模型中的某些算子运行在 CPU 核心而非 NPU 上,而这三个算子占了 Lite-Mono 耗时中的最大部分。可靠性修复:等待 NPU 的 10 秒超时限制,超时时转储状态;退出时释放设备内存;修复一处内存泄漏;分配失败时上报。
模拟器 位于 src/Native/src/simulator 的 NPU C++ 模拟器,使 .kmodel 无需板子即可在 PC 上运行。PC 上的 nncaseruntime 使用它。其 README 中有指令集的书面描述,包括模拟器与板子存在差异的情况。可选的调试转储,用 tools/ckpt_dump.py 读取。
工具与测试 k230-as,NPU 指令集的汇编器。k230_isa_test,70 个小型汇编程序,在模拟器和板子上运行,以比较两者。tests/run_k230_tests.py,在模拟器上、通过 ssh 在板子上,或针对保存的汇编输出运行 Python 算子测试。参见 tests/ReadMe.txt。ai2d_test,AI2D 图像单元的测试工具。
K230 代码的来源 把 Lite-Mono 从 527 ms 降到 61 ms,需要确切了解编译器和 KPU 的行为:哪些算子留在 NPU 上、它们如何被分块,以及什么会强制回退到 CPU。这些内容鲜有文档,而上游仓库没有 K230 插件、运行时或模拟器的源码,Canaan 以二进制形式发布它们。这里的源码是从那些二进制中恢复出来的,以便能够阅读整个栈、在真实板子上核对并加以修改:汇编器、ISA 测试、板端测试运行器、Lite-Mono 的修复以及上面列出的 bug 修复都是新增工作。指令集描述源自模拟器代码,并在测试覆盖到的范围内与板子核对过。由于它并非依据规范编写,部分内容可能有误。其 open questions 列出了已知不确定的部分。许可证。nncase-kpu 以 Apache License 2.0 在 PyPI 上发布,带有“Copyright 2018 Canaan Inc.”的声明,本分支依赖该许可证来涵盖编译器插件和模拟器。运行时归档没有自己的许可证文件。它是上游 Apache 2.0 仓库的发布资产,本分支将其视为受该许可证覆盖。本分支以同一许可证分发。Canaan 未审查或认可这项工作。
Lite-Mono 从单张相机图像估计图中每个物体的距离。它混合了卷积和 transformer 风格的注意力。这些数字针对其最小变体 lite-mono-tiny,输入为 640x192,8 位量化,在 K230 板子上测得。每张图像的时间包括设置输入、运行模型和读取输出。大部分收益与 NPU 无关。从 527 ms 降到 126 ms 来自修复缓慢的 CPU kernel,它们为每个元素计算索引,而不是整行复制。其输出与之前逐位相同。只有最后的 126 ms 到 61 ms 改变了模型映射到硬件的方式。起点是本分支自身的运行时在这些修复之前的状态,而不是与 Canaan 发布的运行时对比。精度以 abs-rel 衡量,即距离相对于真实距离的平均误差,因此 0.112 约为 11%:这个测试集很小。它是一个 KITTI 驾驶序列(2011_09_26_drive_0048)的 22 帧,与 LiDAR 对比。Abs-rel 在帧与帧之间约变化 0.03,因此应把这两个数字视为“接近”,而不是测得的 0.005 的差距。每张图像的深度按其相对于 LiDAR 的中位数缩放,因为单相机没有绝对尺度。这些数字不能与 Lite-Mono 论文中的表格比较。校准图像来自另一个驾驶序列,但向其中添加放大裁剪的想法来自观察这个测试序列,尚未在另一个序列上确认。校准也不完全可重复:同一模型的一次重建在 6 字节的量化参数上有所不同,得到 0.1127 而非 0.1124,速度相同。命令和更多细节见 model_runner 的 Lite-Mono 部分。共有三个独立的构建。原生构建和板端构建不需要编译器构建。build.md 是上游的,未涵盖这些内容。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。