资讯与观察· 工程实践

Pallas 内核怎么调优？Google 给出的答案是“少信模型，多看寄存器”

Google 为开源 TPU 性能分析器 XProf 新增内核性能分析套件，可展示 Pallas 自定义内核的周期级细节，此前这些内核在跟踪记录中仅显示为单个不透明块。在 TPU v7（Ironwood）上，XProf 会在运行时采样硬件性能计数器。一个分块矩阵乘法示例中，Google 借此发现内存停顿问题，通过添加三重缓冲将内核执行时间从 125.5µs 缩短至 88µs，降幅约 30%。