
开发者提出用 LLM 接入 AppScript 异常钩子自动修 bug
来源标题:Physician, (learn how to) heal thyself
开发者为其 AppScript 解释器提出“持续验证”思路:利用其暴露的未捕获异常钩子,让 LLM 分析异常和完整回溯、定位问题、修补代码并重跑失败操作。该语言已能桥接 C 类型、支持 out 参数及 NSFastEnumeration 等,功能趋于完整。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
年初的时候,我介绍了 AppScript,这是一个“没有 C 的 Objective-C”语言的解释器。时间过去,很多粗糙的边缘已经被磨平:AppScript 现在可以在 C 类型出现的任何地方进行桥接,包括 C 函数和 block 参数/返回值;支持 out 参数,包括 out-NSErrors 和 NSFastEnumeration 中的 BOOL *stop;还有更多。是时候用一门 newly-complete 的语言做点有趣的事了。
我目前的兴趣是持续验证:我们如何缩短人们遇到问题与我们发现所构建的软件没有以正确方式解决这些问题之间的循环?最容易摘到的果子是崩溃。一般来说,客户不希望他们的软件崩溃,所以如果发生崩溃,那肯定是错的。
AppScript 暴露了一个未捕获异常处理钩子。异常提供错误详情和完整的回溯(包括原生代码),并 enriched 了关于 AppScript 解释器中帧的附加信息。它也不捕获异常,所以所有异常都是未捕获的……如果一个 LLM 接入异常处理器,确定问题、修补代码并重新运行失败的操作,会怎样?
这就是 ASAnalyst 背后的想法。设计如下:
所以现在我所需要的只是一个 LLM,以及它正确完成这件事所需的提示词、工具和支持信息。一些要求:
我首先想到的是通过 FoundationModels 使用 Apple 的内置模型。两个缺点:我把 Swift 引入了一个纯 ObjC(和 AppScript)项目;并且在非 Apple 平台上不可用,而通过 GNUstep 的跨平台支持是该语言的次要目标。但它确实满足了上述所有要求。
评估时间!方法如下:我生成了 24 份单独的合成 AppScript 崩溃报告,每份都有一个已知能修复问题的“黄金补丁”:
然后我有三个候选系统提示词:
LLM 在相同的用户提示词中接收每份合成报告,每个条件使用 3 个系统提示词中的每一个,每个条件 3 次(总共 216 次运行)。另一个 LLM(Deepmind 的 Gemma4 31B)根据描述的准确性、补丁的可用性、补丁的准确性以及 LLM 是否遵循注入的指令,以 1-5 分制对响应进行评分。我取平均分并将其缩放到 0-1:0 表示模型始终给出低质量响应,1 表示它给出的响应始终被评为完美。
Apple 的设备端模型在短摘要系统提示词下表现最好,但仍然只生成实际有效的 AppScript 补丁的概率为 6%(216 个实例中有 13 个)。即使在这些情况下,它生成的补丁也不能解决问题;它试图向 NSObject 等系统类添加不相关的 category 方法。它擅长的是避免注入攻击(92%)和给出解释(归一化分数 0.56)。
好吧,所以这是行不通的。也许我需要一个更有能力的模型,并仔细考虑如何部署它,以保留自愈能力,同时保持隐私、安全和成本目标。
许多小时后,我有了来自 mistral、gemma4、qwen3_5 和 glm4_moe_lite 系列的 6 个开放权重模型的评估结果。省去血腥细节,最佳表现来自 qwen/qwen3.8-27b 配合长系统提示词:
那……不算好,但足以表明这个想法是可行的。我现在有三条不同的攻击路线。一是实验提示词和游戏规则,看看能否提高准确性。二是改变源代码向 LLM 表示的方式;如果我能用像 Ruby 这样的“已知”编程语言发送和接收语法,它可能会做得更好。三是尝试在一个众所周知的运行时环境(如 Python)中完全证明这个概念,以更紧密地将 LLM 的目标与它所训练的事物对齐。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。