OpenAI 推出 Control Room 系统，可追踪并快速停止模型工作负载

Control Room 加载中… 分享 工作原理工作原理 示例：响应监控告警 速度与可靠性 工作原理 示例：响应监控告警 速度与可靠性 随着我们的模型能力越来越强，相关的安全与安保风险也越来越大，能够检测潜在问题并在需要时迅速让模型停止运行，正变得越来越关键。为解决这一问题，我们构建了 Control Room。

Control Room 是一个中央系统，用于追踪我们研究基础设施中的模型工作负载，并在出现安全或安保问题时迅速将其停止。它连接了每一个研究推理工作负载，包括用于模型训练和评估的 agentic sampling、数据处理等。它与我们的 misalignment 监控系统协同工作，可在做出干预决定后 35 秒内停止模型输出，以停止或暂停某个任务。它的设计目标是在其他系统发生故障时仍能继续工作，并且在 Control Room 自身宕机时也能停止模型输出。

Control Room 已部署在我们需求最迫切的研究基础设施中。我们的外部模型服务栈本身已经更加集中化，并具备完善的运维能力，可在需要时快速下线模型部署。

Control Room 通过集成几个系统来工作：工作负载、推理引擎，以及集中式的 Control Room 服务。

工作负载是正在运行的任务，例如强化学习实验、评估、大批量采样或数据处理任务。我们要求每一个执行 agentic inference 的研究工作负载都必须关联一个已获批的安全用例（safety case）。

推理引擎（简称引擎）就是模型本身。你可以把引擎理解为模型的大脑，直接运行在 GPU 上。一个工作负载通常会使用一个或多个模型，这些模型可能运行在一个或多个不同的推理引擎上。同一个推理引擎也可能被多个不同的工作负载使用。

Control Room 服务追踪任务，并控制它们是否被允许继续生成模型输出。引擎在满足请求之前会先向 Control Room 服务确认。如果某个任务已被停止，服务会拒绝该请求，从而阻止进一步输出。

Control Room 的集成方式如下： 启动新任务时，工作负载代码向 Control Room 请求一个新的 job_id。 每当工作负载需要从模型采样 token 时，它会向运行该模型的推理引擎发出请求，并传入 job_id。引擎向 Control Room 请求许可来满足该请求，同时将 job_id 一并传给 Control Room。 Control Room 检查该任务是否已被终止，如果是，则拒绝该推理请求。引擎以拒绝响应工作负载的推理请求，从而停止为该任务产生进一步的模型输出。 某事件触发了停止该任务的决定 研究任务 <尚无 job ID>job_042 推理引擎 在 GPU 上运行模型 job_040, activejob_040 job_041, activejob_041 job_042, activejob_042 第 1 步研究人员决定启动一个任务 流程始于研究人员启动一个任务——例如一个实验或一次评估。 任务代码（或称工作负载代码）由研究人员拥有并运行。推理引擎可能作为该任务的一部分启动，也可能是不属于任何特定任务的独立引擎、已经在运行中。 工作负载代码请求一个 job ID，并将该任务与一个已获批的安全用例关联。这个请求由任务本身发出。 Control Room 记录该任务并返回其标识符。工作负载会将同一个 ID 附加到它的推理请求上。 请求中包含 job_id。该请求直接从工作负载代码发出，不经过 Control Room。 在满足请求之前，推理引擎询问 Control Room 该任务是否仍被授权运行。 该任务仍被授权，因此 Control Room 授予许可。推理引擎现在可以满足该请求。 模型生成响应，引擎将其发送回研究任务。任务可以使用该输出并继续其工作。 某人或某个监控系统通知 Control Room 停止该任务。Control Room 将其 ID 标记为已停止。工作负载代码仍在运行。 我们不依赖工作负载代码来正确检查任务是否仍在运行。 引擎向 Control Room 请求许可来满足新的推理请求，并传入相同的 job ID。 当引擎再次检查许可时，Control Room 拒绝了这个已停止的任务。引擎必须拒绝该推理请求。 引擎返回拒绝，而不是模型输出。研究进程可能仍然存活，引擎也仍然可供其他已授权的任务使用。 上一页下一页 示例：响应监控告警 我们所有的前沿强化学习任务都在监控器的陪伴下运行。监控器是另一个模型，它会检查被训练模型所做的一切，并在检测到问题时发出告警。例如，我们最近的 DNS 相关事件⁠（在新窗口中打开）就是由监控器发现的。 Control Room 与我们的监控系统按以下方式集成： 如果监控系统检测到潜在问题，根据具体细节和严重程度，监控系统可能决定停止该任务。 在这种情况下，监控系统向 Control Room 发送消息以停止该任务，并传入 job_id。Control Room 记录该任务已被终止。 下次该 job_id 对应的任务向任何引擎上运行的任何模型发出推理请求以采样更多 token 时，该请求将被拒绝，从而停止进一步的模型输出。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）