返回资讯中心
外部精选
ai-models
#AI 工程

Handshake AI训练业务年收入达10亿美元,详解前沿实验室采购的数据类型

来源标题:What Frontier Labs Buy: A Data Deep Dive with Handshake AI — Garrett Lord & Team

Handshake的AI训练业务推出约一年,年化总收入即达到10亿美元。该公司首次公开其面向前沿实验室的数据业务细节,展示金融、生物和对齐等领域的强化学习环境实例。在金融演示中,模型能解释税务处理规则,却在识别代码中规则适用位置时出错。

Latent Spaceswyx .ai2026/11/9 · 8 天前11 分钟阅读

以下正文由 AI 翻译自 Latent Space(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这是我们第一次与 AI 数据公司做 Latent Space 深度访谈。大约一年时间里,Handshake 的 AI 训练业务从起步做到了 10 亿美元的年化总营收。那种规模下,前沿实验室到底在买什么?模型在哪些 evals 上还远达不到人类水平?Garrett Lord 把构建这些强化学习环境的人带到了现场,为我们展示。这是我们第一次 live 走一遍这些环境!

为了覆盖 Handshake 的业务范围,我们做了一期非常特别的联合播客,集结了 Science/Engineering/Research/Finance 各档播客的主持人,因为 Handshake 的业务横跨所有这些领域,甚至更多。

总介绍之后有三个分段值得关注:

  • 金融。在金融 demo 中,agent 要在某家银行的邮件里找到自己的任务,弄清哪些文件管辖这笔交易,并交付一个工作簿。注意看客户邮件里关于 existing goodwill 的那一行会发生什么。agent 把这个数字带进 Python 并做了减法。Collin 指出,如果你直接问模型,它是能解释税务处理的。错误发生在它需要识别出「正是这行代码是规则适用之处」的时候。
  • 生物。Nick Magazine 和 Jonas Mueller 向我们展示了 VIALS,这是 Handshake 用来评测「解读科学家工作中所用图像」能力的 benchmark。Nick 在屏幕上放了九张脑肿瘤组织切片,问哪两张显示最晚期的血管坏死。在他的答案揭晓前,你可以先自己想一下。Nick 选的是 H 和 I。模型也选了这两张,还多选了 G。看 Nick 指出组织里缺了什么,比看分数更有启发。
  • 编码。在一个模拟的文件访问任务中,团队可以检查 agent 读了哪些文件、是否核对了副本、以及之后对 shell history 做了什么。只看 agent 最终回复的 transcript,会错过 Steve Kelling 和 Nishant Ranka 正在评估的大部分内容。

谁在场

  • 🟣 AI 数据业务 — Garrett Lord、Sahil Bhaiwala 和 Nishant Ranka 以专家数据市场为主题开场和收尾。
  • 🌸 生命科学 — Nick Magazine 和 Jonas Mueller 把凝胶和脑组织任务搬上屏幕。
  • 🟢 金融 — Collin Schweiker 和 Sahil Bhaiwala 带我们走一遍 Project Falcon 及其 Excel grader。
  • 🟠 对齐 — Steve Kelling 和 Nishant Ranka 在安全模拟中追踪 agent 的 tool calls。

Show notes

  • ATLAS-Finance — 探索这个 benchmark,考察 agent 在模拟银行的收件箱、文档和财务模型中的工作能力。
  • Inside a bank — Handshake 梳理了另一个已公开的交易 Project Osprey,从客户邮件一直到评分决策。我们访谈中屏幕上那笔交易是 Project Falcon。
  • VIALS sample tasks — 试试这些科学图像问题,包括本期节目中的凝胶和脑组织任务。
  • How Handshake trained a model to read scientific figures — 团队讲述了如何用中间图像描述来训练和评估一个 vision-language model。

Timestamps

0:00 Inside Handshake AI 0:39 Garrett、Sahil 和 Nishant 谈前沿训练数据 5:15 如何为 agent 搭建一个银行环境 13:07 前沿实验室如何购买数据 15:51 实验室如何评估一个新数据集 20:01 在开源模型上测试训练数据 27:38 rubrics 在哪些地方不如专家判断 31:30 Nick 和 Jonas 介绍 VIALS benchmark 35:52 解读分子结构和质粒图谱 43:48 训练视觉模型解读科学图像 47:17 任务一:读取凝胶上的条带 50:59 任务二:在脑组织中寻找坏死 55:49 Python 工具能帮模型「看见」吗? 1:02:52 生物模型能自我提升吗? 1:06:19 生物实验室能从 Handshake 买到什么 1:12:33 Collin 和 Sahil 聊 Atlas Finance 1:18:56 走进一家模拟投资银行 1:25:45 agent 的财务模型错在哪里 1:31:18 银行家如何给这张表格评分 1:41:12 惩罚陷阱、依赖门控与部分得分 1:46:41 agent 如何钻了 Excel grader 的空子 1:48:52 什么能让 AI 银行家真正有用? 1:54:48 Steve 和 Nishant 谈安全与对齐 1:58:25 CAREBench 与拒绝的局限 2:04:42 安全反馈如何进入模型训练 2:07:21 当 agent 发错文件 2:11:14 一份贷款申请如何检验公平放贷 2:16:09 为企业设计私有 benchmark 2:25:37 领导团队谈 Handshake 的使命 2:28:36 企业何时需要自己的模型 2:33:03 算力与专家数据的市场 2:39:12 实验室为什么保留一部分评估任务 2:43:01 Handshake AI 的招聘

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →