Martin Fowler 提出用 LLM 生成领域术语表以提升专业场景表现
来源标题:Bliki: Generated Glossary
Thoughtworks 的 Martin Fowler 提出,用 LLM 从组织内部文档、邮件和聊天记录中自动生成领域术语表,帮助 LLM 理解专业词汇。该方法要求 LLM 识别两类词:它此前未见过的生词,以及被赋予陌生含义的已知词,后者往往最易造成混淆。生成的术语表可供在该领域工作的其他 LLM 使用。
以下正文由 AI 翻译自 Martin Fowler(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
当我们在专业领域使用LLM时——比如任何规模较大的组织的运营场景——会遇到大量专业词汇。这些词汇及其专业含义对LLM来说是陌生的,因为它们不在训练集中,这使得LLM在该领域执行任务时效果大打折扣。一种辅助方法是让LLM生成该领域的术语表,并让这份术语表可供在该场景下工作的所有LLM使用。
LLM的信息来源可以是相关组织内的任何材料,比如文档、邮件和聊天记录。某些情况下,获取音频或视频的文字记录也可能有用,不过大多数组织产生的文本量已经足够了。
生成术语表的LLM应当查找单个词,以及多个词经常一起出现构成有意义术语的短语。应当要求生成器识别对它来说是新出现的术语,同时也要识别那些已知但被以不熟悉方式使用的术语。后者往往最容易造成混淆。
拿到专业词汇列表后,我们可以让agent生成一份术语表,为每个术语提供定义。有些术语可能有不同的用法,这种情况下LLM应当提供替代定义,并注明差异出现的上下文。可以要求LLM遵循词典的输出格式,注重精确和简洁。
有了术语表草稿后,该领域的人类专家应当进行审阅,并在LLM理解有误的地方加以修正。
然后我们把术语表放到其他LLM可以使用的地方。它应当以LLM易于查阅的形式存在,并尽量减少LLM查找含义时所消耗的token。我们应当建立定期审阅和刷新术语表的计划,由agent和人类共同执行。我们应当将其纳入版本控制,以便观察它随时间的变化。
大型组织往往在不同地方有着微妙不同的定义,本质上遵循领域驱动设计中限界上下文的概念。源代码可以是一个特别有趣的限界上下文,能让人们理解术语在代码库中是如何使用的。有时一份术语表可以跨越多个限界上下文,但另一些时候,为每个上下文分别建立术语表更好,让LLM可以查阅与其当前工作相关的术语表。我呼吁大家抵制创建单一标准化术语表的诱惑——我还没见过这种做法奏效。术语表的价值往往不在于锁定某个术语的唯一定义,而在于凸显它在不同上下文中的不同用法。
当存在不同的限界上下文时,比较不同的术语表会很有意思,或者让LLM比较术语表并描述用法差异。将源代码衍生的术语表与人类文本进行比较尤其具有启发性。
如果术语表很大,只把术语和定义的链接作为初始上下文的一部分可能是值得的。模型在工作时可以仅通过链接获取所需的完整定义。
术语表在Agentic Engineering中有多种用途。术语表可以为代码生成提供信息,使生成的软件中的命名符合企业的特定词汇。harness中的传感器可以检查这种用法,既包括软件内部,也包括用户界面。
在生成代码或文档时,我们可能引入新的限界上下文。例如,组织内部使用的名称不应暴露在面向客户的UI中,因为这类内部术语很可能只会让客户困惑。这种情况下,客户与企业中为其服务的部分处于不同的限界上下文。
术语表中包含不应使用的术语往往很有用,这种情况下它会附带建议改用其他哪个术语。已弃用的术语可以通过这种方式处理,术语条目中标明该术语的有效时间段。
在与大型组织中从事agent工作的人交流时,一个常见的主题是专业语言的困难。这促使了领域建模、构建本体论以及在企业数据中构建显式上下文层等活动。让LLM生成术语表是这项工作中简单但有用的一部分。
致谢
Eric Nagler和Unmesh Joshi分享了他们从事这项活动的经验,从而启发了本文。Amy Pellegrini、Annie Luxton、Arun Srinivasan、Chris Ford、Daniel Terhorst-North、Dave Farley、Eric Nagler、James Shore、Jason Yip、Jimmy Nilsson、Matteo Vaccari、Michaël Le Barbier、Pete Hodgson、Pramod Sadalage、Ravi Vats、Unmesh Joshi和Valentyn Logvynskyi对草稿提出了评论。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。