文章详解AI护栏的三种主要类型及选型方法
来源标题:AI Guardrails Explained
一篇技术长文澄清了围绕AI护栏的营销化讨论,指出护栏用于判断生成式AI系统的输入或输出是否安全。文章区分了三种主要护栏类型,说明其位置和工作方式各不相同,这正是护栏讨论中的主要混淆来源,并给出比较和选型方法。作者还指出,由于许多大模型在多模态和图像生成模型基于公开互联网训练,其内容也带有互联网上的争议、有毒、偏见等信息。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
关于guardrails的讨论很多,但其中营销成分多于科学成分。所以这里提供一份关于guardrails的真实解读,帮助你针对自己的机器学习架构做出真正有依据的决策。
请注意,这是一篇大型文章,我会持续用最新的参考资料更新它。如果你有这里没有解答的问题,欢迎联系我,我会添加一个FAQ部分。:)
Guardrails用于判断生成式深度学习系统的输入或响应是安全还是不安全的。取决于你谈论的是哪种类型的guardrail,它们所在的位置和工作方式会有所不同。这是我在关于guardrails的讨论中看到的主要困惑来源,因为不同类型的guardrails运作方式不同。
在本文中,你将了解三种主要类型的guardrails,以及如何准确地比较它们并决定哪一种适合你的用例或架构。
由于许多LLM、多模态生成模型和其他类型的生成图像模型都是在公共互联网上训练的,它们也充满了互联网上充斥着的东西。这意味着不仅有争议性的、有毒的、not-safe-for-work的、有偏见的信息、政治和/或广告内容,还可能有错误信息、恶意软件以及其他你不希望在本组织的应用或网站上产生的东西。
取决于你的应用和用例,你对guardrails的需求会有所不同。许多AI供应商作为其提供给你的系统的一部分,内置了guardrails,如果你刚刚起步,你很可能可以通过system prompt来引导部分输出。
然而,随着你的生成式AI工作规模扩大,尤其是当你进入“agentic”工作流时,你会发现你需要guardrails来阻止有害内容或agent操作。所谓的“misalignment”甚至可能来自训练数据中的虚构输入,正如Anthropic最近所承认的那样,他们发现学习反乌托邦科幻小说会导致不期望的输出。
在理想世界中,我们不需要guardrails,因为AI供应商会从一开始就花钱只使用高质量的内容和语言。然后这也可以直接被训练,以便任何引入的偏见都被很好地记录、标注和(由人类)审查。1然而,到目前为止,这在模型生产中并不是常态。
我经常听到的另一个误解是,你不需要guardrails,因为模型提供商已经有了。这对于你的个人使用来说可能是真的,但如果你在部署面向客户或内部的AI系统时没有任何针对你组织需求的guardrails,我认为你很可能是在邀请一个聪明的攻击者至少好奇地四处看看。
话虽如此,我喜欢说“使用guardrails,但它们不会拯救你”。它们就是软件和模型,仅此而已。这意味着它们会有bug、错误和遗漏。我仍然认为了解它们、了解它们何时、何地以及如何支持你整体的隐私和安全问题(包括bug和所有其他问题)对你有用。
我喜欢通过思考guardrails所在的位置和它们的工作方式来推理它们。这样做时,有3种主要类型。
这些是在主模型之外(外部)工作的guardrails,本质上是确定性的,通常嵌入在软件和巧妙的内存结构中。以下是一些示例,为你说明这种类型的guardrail。
其中许多类型与AI/ML记忆相关,并试图防止重复已记忆的内容。
来自Azure Guardrails的配方版权guardrails
如你所见,这些对于某些特定类型的问题可能有用,但就其本质而言,它们并不非常灵活!如果你需要更多灵活性,你最终会使用其他类型的guardrails。
让我们看看外部算法guardrails。
这些位于主模型外部,但它们本身可以是模型!或者它们可以使用其他算法来检查prompt或类似内容是否“安全”可回答。让我们看几个示例。
来自Microsoft Copilot的设置类别和阈值的示例
例如,以下是LlamaGuard-3类别列表
当你通过这些模型运行一个prompt时,它会返回类似“safe”与“unsafe”的结果,如果prompt被判定为不安全,它还会返回找到的任何匹配类别。还有一些模型可以返回“safe”与“unsafe”的可能性,或者让你设置策略,决定你关心哪些类别,并只检查那些类别。
LLM as a Judge:从技术上讲,LLM as a Judge也属于这里,尽管与专门为guardrails训练的模型相比,在延迟、成本和一致性方面存在一些显著差异。在下一节中,我将详细分析这些权衡是什么,并给你一些方法,更好地将judges架构到你的工作流中。
Build Your Own:许多外部guardrail模型是为guardrail任务微调的小型LLM。如果你有与你在输入方面预期相匹配的标注数据,你可以自己做这件事。你也可以构建其他类型的模型(采用一个小型mixture-of-experts并从那里开始),甚至一个小型NLP分类器,看看你能走多远。最终,你的用例和语言特定性可能值得采用这种方法,尤其是如果你将持续有类似的用例。
外部算法guardrails很棒,因为你可以随身携带它们。你在理解它们如何融入你的工作流方面投入越多,你在处理新的AI想法时就越敏捷,因为你掌握了至少能很好地捕捉部分问题的知识。
最后一种类型的guardrail是你除非在大型AI供应商工作,否则看不到也操纵不了的。让我们看看alignment training。
Alignment training通常是LLM上线前训练的最后阶段。它是LLM训练最后阶段发生的强化学习(或类似的微调)步骤的一部分,以确保LLM不会输出(太多)垃圾内容。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。