返回资讯中心
外部精选
软件工程
#开发者实时流

将AI治理下沉到基础设施层:每次调用实时管控成本、合规与数据

来源标题:Shifting AI Governance to Infrastructure

Vidai提出把AI治理从策略层移到基础设施层,在组织自有网络内于每次AI调用发生时实时执行成本、监管和数据管控。请求经控制台检查调用方身份、内容与去向后再转发、计价并记录;选择某项法规即自动设定留存要求并生成对应策略,可先以观察模式运行再强制执行。

Hacker News 最新nagug2026/11/17 · 今天14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

组织发起的每一次 AI 调用,都在发生的当下受到治理:成本、监管与数据,在调用发起的那一刻、在你自己的网络内部即刻生效。 请求日志 · 一次调用 工作原理 应用、agent 和人员通过他们已经在用的工具,经由 Control room 访问 AI。每次调用时,它会检查调用方是谁、调用内容是什么、可以发往哪里,然后将其转发、计价并记录所发生的一切。 测试得到的最高速率,并非保证上限。Vidai、一个 mock provider 和负载生成器运行在同一台机器上,因此不计网络时间:数据为 Vidai 自身的数据。32 个连接,每次调用都记录到 PostgreSQL,guardrails 和 TLS 关闭。在你的基础设施上的结果会有所不同。方法与完整结果 某组织一天中的五个时刻,在产品本身中呈现。每一个过去都需要一次会议、一张电子表格或一次事故来处理。 选择一项法规,即设定其要求的保留期限,并提议服务于该法规的策略。接受后,它们立即以观察模式运行,随时准备强制执行,每项控制项显示为已强制执行、已观察、部分落实或存在缺口。 个人数据、卡号、密钥和 prompt injection 在调用离开之前就被发现。Vidai 会对其进行掩码、拦截,或将其发送给你信任的模型,且检查本身在你的网络内运行。 一条调用记录:agent、计费的团队,以及将其路由到 EU 模型的规则。 14:05 · 成本治理 每次调用都在几分钟内计价,并计入发起它的团队、应用、agent 或个人。预算会在账单到来之前发出警告、停止调用或切换到更便宜的模型。 预算触达:停止其覆盖的四个密钥,并在 50%、80% 和 100% 时发出告警。 16:30 · 运维与安全 单独停止某一个密钥、agent、团队或 provider,而不影响其余部分,或用一 个开关停止所有 AI 调用。事件流式传输到你的 SIEM,绝不包含 prompt 或响应。 任意时间段的单一签名报告,包含所有高风险调用。审计人员在自己的机器上检查,无需访问你的系统。 一个 agent 任务在数秒内变成十次或更多调用,且每一次都要等待检查。我们用 Rust 编写 Vidai,并训练了自己的小型模型来执行检查,因此治理每一次调用不会拖慢速度,也不需要自建数据中心。 治理层为整个十次调用的 agent 任务增加的时间,含网络。* **我们在真实网络上公布的测试,因此每个数字都包含网络时间:一台 2013 年的 Intel Xeon E3-1240 v3(8 核),以 VidaiMock 作为 provider,Vidai 达到每秒 21,803 次调用、中位数 1.95 ms,此时测试网络先达到其极限;而基于 Python 的代理在其峰值时中位数为 197 ms。两者均依次执行十次调用。模型数据来自 Stirling-Minimo PII 模型卡。PIIMB 英文排行榜,2026 年 10 月 17 日:Stirling-Minimo PII v0.1 在 36 个模型中排名第 3,在四个英文数据集上的平均掩码 F2 为 0.904,落后榜首 0.014,榜首为一个 14 亿参数的模型。vidai.uk/performance 合规、安全、财务和工程各方都基于同一份每次调用的记录开展工作,各自拥有自己的角色和视图。没有人需要管理员权限才能看到自己负责的答案。 今天纸面上的策略。"我们的 prompt 去了哪里?"靠 wiki 回答。 应用 VidaiRules 到每次调用后,每项法规按控制项逐项展示,证据随需可得。 今天prompt、provider 密钥和客户数据分散在无人完全掌控的应用中。 由 VidaiKeys 集中保管,每次调用都有记录,一个开关即可停止所有 AI 流量。 今天provider 账单在月末到来,每一行都没有负责人。 使用 Vidai每次调用在几分钟内计价,并由某个团队负责。预算在账单之前就采取行动。 今天每个 provider 一个不同的 SDK,每个服务里都有重试、日志和 guardrail 代码。 使用 Vidai团队保留自己的 SDK。Guardrails、成本、fallback 和日志随 Control room 一起提供。 今天数周的取证请求,无法确知每次调用都被包含在内。 使用 Vidai一份签名报告,附带可复现的样本,在他们自己的机器上检查。 在 20 分钟内,我们针对你的团队最常问的问题展示 Control room。 每项法规都是一个带版本的包,并引用其来源。它设定保留期限、提议策略、按控制项展示覆盖情况并生成证据。 对于每项法规,查看哪些已强制执行、哪些仅被观察、哪些是你自己的流程,并附上证明它的调用。Vidai 从不声称覆盖它并未覆盖的控制项:它给你证据,由你的审计人员来做判断。 一项 GDPR 控制项,部分覆盖:它寻找的证据、30 天的发现结果及其背后的策略。 集成 Vidai 不替代你云端的 AI 服务或你的安全工具。它治理它们之间的 AI 调用,并把每个工具所需的证据交给它。 Bedrock 和 Vertex AI provider 处于 alpha 阶段。SDK、框架、BI 表、指标和 webhook,以及设置步骤:见文档。 VidaiChat 让每个团队都能使用你提供的任何模型,来自任何 provider,并带有 agent、项目和文件。人们获得探索的自由;而在底层,每条消息都经过 Control room,像任何其他调用一样被检查、计价和记录。 包含每个用户和每个 agent。不按 token、按席位、按调用或按记录的请求收费。与我们洽谈定价。 面向在自己流量上试用 Vidai 的工程师。 完全离线且在本国境内,包含所有 VidaiGuard 模型。适用于绝不能外流的数据。 在 20 分钟的演示之后,我们与你商定为期两周的试点:一个应用或团队、你的流量、你的基础设施。 将其指向 Control room。一次配置变更;其他一切不变。 每次调用都计价、检查并记录。规则以观察模式启动。 它花费了什么、捕获了什么、本应阻止什么,基于你自己的流量。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →