
Dynamo导出测试偶发失败问题的排查过程
来源标题:Debugging story: The case of the flaky Dynamo export tests (2023)
Dynamo 导出测试数月来间歇性失败,报错为“AssertionError: whole graph export entails exactly one call”,且难以复现。作者发现本地 pytest 运行能稳定复现类似失败,于是决定深入排查,并尝试通过减少实验迭代时间来定位问题。排查中发现,不使用 unittest 运行时测试就不再失败,这成为关键线索。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
几个月来,Dynamo 导出测试一直间歇性地失败,报错信息为“AssertionError: whole graph export entails exactly one call”。无法复现的偶发测试非常难以调试,因为你很难通过修改代码来验证问题是否被修复。所以当我发现本地 pytest 运行时能以类似方式稳定复现失败(稳定到一开始我以为它是确定性失败)时,我意识到应该放下手头的事,彻底查清这个问题,因为除此之外,似乎不太可能有其他人能搞定它。
调试棘手问题时,缩短实验迭代时间很有帮助。就我而言,跑完整套测试需要几分钟:我希望在最初几次运行中就能触发这个偶发测试。起初我想按固定顺序运行所有测试,然后用 delta 调试法逐步移除测试,直到偶发失败消失。但 pytest 并没有内置这种方式;标准库的 unittest 倒是有,可实际上不用 unittest 运行时测试就不再失败了(如果你在家也在猜,这是一个重要线索!)。不过 pytest 的 -k 参数支持布尔运算符,比如可以用 -k foo and bar 来筛选名字中同时包含 foo 和 bar 的测试。于是我借此逐步缩小测试范围,最终缩减到几秒钟就能跑完:PYTHONUNBUFFERED=1 pytest test/dynamo/test_dynamic_shapes.py -k 'Unspec and export and not dupes and not reorder' -v -x -s。很好。
接下来,我想更清楚地了解失败时到底发生了什么。一个好的起点是打开 DEBUG 日志并查看日志输出。不幸的是,打开日志后 bug 就消失了。于是只能回到老派的 print 调试。经过一番交叉排查,我终于确定,在出 bug 的情况下,代码会走到这一段:
on_enter() prior = set_eval_frame(callback) backend_ctx = backend_ctx_ctor() backend_ctx.enter() dynamic_ctx = enable_dynamic(self.dynamic, self.export) dynamic_ctx.enter() try: return fn(*args, **kwargs) finally: set_eval_frame(prior) dynamic_ctx.exit(None, None, None) backend_ctx.exit(None, None, None)
我们成功设置了 Dynamo 的 frame 回调,调用 fn,然后……frame 回调根本没有被调用。
好,这听起来像是回调设置出了问题。能打日志吗?当然可以!torch/csrc/dynamo/eval_frame.c 里有一个未文档化的预处理宏 TORCHDYNAMO_DEBUG,只要定义它,就会打开一堆调试日志,看起来像这样:
TRACE[_custom_eval_frame:650] begin del /data/users/ezyang/a/pytorch/torch/multiprocessing/reductions.py 37 -1 0 0 TRACE[_custom_eval_frame:679] skip del TRACE[_custom_eval_frame:650] begin _free_weak_ref /data/users/ezyang/a/pytorch/torch/storage.py 766 -1 0 0 TRACE[_custom_eval_frame:679] skip _free_weak_ref TRACE[_custom_eval_frame:650] begin <genexpr> /data/users/ezyang/a/pytorch/torch/_dynamo/eval_frame.py 733 14 0 0 TRACE[set_eval_frame_py:831] python enabled=0 and is run_only=0
(这段日志里其实有一条非常重要的线索,不过我直到后来才看出来。)我还加了一些调试日志,用来记录我们修改 eval frame 回调的时机,以查明我们是否在取消自定义 frame 回调后忘记重新设置。结果发现,情况正是如此:
if (result == NULL) { // internal exception, returning here will leak the exception into user code // this is useful for debugging -- but we dont want it to happen outside of // testing return NULL;
对比下面成功的情况,那里会重新启用自定义回调:
} else if (result != Py_None) { DEBUG_TRACE("create cache %s", name(frame)); extra = create_cache_entry(extra, result); Py_DECREF(result); set_extra(frame->f_code, extra); // Re-enable custom behavior eval_frame_callback_set(callback); return eval_custom_code(tstate, frame, extra->code, throw_flag);
修改内部异常分支的回调处理,让它重新设置 Dynamo 回调,确实“修复”了测试失败。但还有一些未解之谜。为什么回调内部会报错?为什么这是非确定性失败?有没有可能我们是有意为之,在出错时保持回调禁用状态?
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。