
OpenAI 推出 Control Room,可在 35 秒内停止 AI 模型任务
来源标题:Introducing Control Room: Human control over AI workloads
OpenAI 发布 Control Room 系统,用于集中追踪其研究基础设施上的模型推理任务,并在出现安全或安保问题时快速停止任务。该系统可在决定干预后 35 秒内停止模型输出,且即使自身宕机也能停止输出。目前已部署在研究基础设施中。
以下正文由 AI 翻译自 OpenAI(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Control Room
加载中…
分享
工作原理工作原理
示例:对监控告警做出响应
速度与可靠性
工作原理
示例:对监控告警做出响应
速度与可靠性
随着我们的模型越来越强大,相关的安全与安保风险也越来越大,我们能够检测潜在问题、并在需要时迅速让模型停止运行,就变得越来越关键。为解决这一问题,我们构建了 Control Room。
Control Room 是一个中央系统,用于追踪我们研究基础设施中的模型工作负载,并在出现安全或安保问题时快速将其停止。它连接了每一个研究推理工作负载,包括用于模型训练和评估的 agentic sampling、数据处理等。它与我们的失准监控系统协同工作,在做出停止或暂停某个作业的干预决定后 35 秒内中止模型输出。它的设计目标是即使其他系统发生故障也能继续工作,并且在 Control Room 自身宕机时也能停止模型输出。
Control Room 已部署在我们需求最迫切的研究基础设施中。我们的外部模型服务栈本身在性质上就更加集中化,并且具备成熟的运维能力,可以在需要时快速下线模型部署。
Control Room 通过集成几个系统来工作:工作负载、推理引擎,以及集中式的 Control Room 服务。
工作负载是正在运行的作业,例如强化学习实验、评估、大批量采样或数据处理作业。我们要求每一个执行 agentic 推理的研究工作负载都必须关联一个经过批准的安全案例(safety case)。
推理引擎(简称引擎)就是模型本身。你可以把引擎理解为模型的大脑,直接运行在 GPU 上。一个工作负载通常使用一个或多个模型,这些模型可能运行在一个或多个不同的推理引擎上。同一个推理引擎也可能被多个不同的工作负载使用。
Control Room 服务追踪作业,并控制它们是否被允许继续生成模型输出。引擎在满足请求之前会向 Control Room 服务确认。如果某个作业已被停止,该服务会拒绝请求,从而阻止进一步输出。
Control Room 的集成方式如下:
启动新作业时,工作负载代码向 Control Room 请求一个新的 job_id。
每当工作负载需要从模型采样 token 时,它向运行该模型的推理引擎发出请求,并传入 job_id。引擎向 Control Room 请求获得满足该请求的许可,并将 job_id 一并传给 Control Room。
Control Room 检查该作业是否已被终止,如果是,则拒绝该推理请求。引擎以拒绝来回应工作负载的推理请求,从而停止为该作业产生进一步的模型输出。
某个事件触发了停止该作业的决定
研究作业
<尚无 job ID>job_042
推理引擎
在 GPU 上运行模型
job_040,活跃job_040
job_041,活跃job_041
job_042,活跃job_042
第 1 步研究者决定启动作业
流程始于研究者启动一个作业——例如一个实验或一次评估。
作业代码(或称工作负载代码)由研究者拥有并运行。推理引擎可能作为该作业的一部分启动,也可能已有不属于任何特定作业的独立引擎正在运行。
工作负载代码请求一个 job ID,将该作业与一个经过批准的安全案例关联。这个请求由作业本身发出。
Control Room 记录该作业并返回其标识符。工作负载会将同一个 ID 附加到它的推理请求上。
请求中包含 job_id。该请求直接由工作负载代码发出,不经过 Control Room。
在满足请求之前,推理引擎向 Control Room 询问该作业是否仍被授权运行。
该作业仍被授权,因此 Control Room 授予许可。推理引擎现在可以满足该请求。
模型生成响应,引擎将其返回给研究作业。作业可以使用该输出并继续工作。
某个人或监控系统通知 Control Room 停止该作业。Control Room 将其 ID 标记为已停止。工作负载代码仍在运行。
我们不依赖工作负载代码来正确检查作业是否仍在运行。
引擎向 Control Room 请求获得满足新推理请求的许可,并传入同一个 job ID。
当引擎再次检查许可时,Control Room 拒绝了这个已停止的作业。引擎必须拒绝该推理请求。
引擎返回拒绝,而不是模型输出。研究进程可能仍然存活,引擎也仍然可供其他被授权的作业使用。
后退下一步
示例:对监控告警做出响应
我们所有前沿强化学习作业都在监控器下运行。监控器是另一个模型,它检查正在训练的模型所做的一切,并在检测到问题时发出告警。例如,我们最近的 DNS 相关事件就是被监控器发现的。
Control Room 与我们的监控系统按以下方式集成:
如果监控系统检测到潜在问题,根据细节和严重程度,监控系统可能决定停止该作业。
在这种情况下,监控系统向 Control Room 发送消息以停止该作业,并传入 job_id。Control Room 记录该作业已被终止。
下一次,持有该 job_id 的作业向任何引擎上运行的任何模型发出推理请求以采样更多 token 时,该请求将被拒绝,从而停止进一步的模型输出。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。