Legora CTO 谈如何在看不到数据的情况下构建法律 AI 代理

Legora 无法查看其 agent 为律师所做的任何操作痕迹。数据属于律所的客户。当你看不到 agent 的工作过程时，该如何构建和测试它？

Jacob Lauritzen 是 Legora 的 CTO，Legora 是法律科技史上增长最快的公司之一。团队最初在斯德哥尔摩的一间地下室里起步，靠着 ChatGPT、瑞典法律和一个搜索工具。如今，律师可以用 Legora 起草和编辑 Word 文档、在单张表格中审阅 10,000 份合同，或进行尽职调查。该 agent 还能协调律师、客户和其他 agent 之间的工作。当 Legora 自己进行收购时，团队用 Legora 来做尽职调查。

我们聊了什么 • 为什么 Legora 多年来拒绝添加模型选择器，以及为什么最终又加上了 • Jacob 估计模型已经能做好约 60% 的法律工作，以及为什么剩下的部分需要更聪明的模型 • 三名工程师和三名律师如何基于客户的工作构建测试环境，很像强化学习中使用的“世界” • 一个引用问题：模型一开始的正确率是 70%，一次发布后达到 99%。Legora 什么都没改。 • 为什么 Legora 把所有东西都跑在 Azure 上，以及为什么不用 ElevenLabs • Tabular Review，那个百万单元格的电子表格，行业连名字都照抄了 • intake 如何工作，agent 如何创建列表，以及列表如何启动另一个 agent • 法律工程师和前置部署工程师各自做什么，以及谁能写代码 • Jacob 用那张“300 斯巴达人”的幻灯片论证 20 名工程师永远就够了。现在有 100 人，他仍然觉得人手不够。 • 为什么 Jacob 觉得 Fable 和 Opus 在起草时太啰嗦，而喜欢 Astra 简洁的写作 • 为什么起草一份长合同是一个搜索问题 • 模型实验室是否会像切断编码工具那样切断法律工具 • 律所合伙关系、计费小时制和初级律师的工作会怎样 Legora 正在纽约、斯德哥尔摩和伦敦招聘工程师。 章节 0:00 冷开场 0:40 认识 Legora 的 CTO Jacob Lauritzen 1:05 在斯德哥尔摩地下室作为弱势一方起步 1:54 Legora 如何从瑞典法律版 ChatGPT 成长为法律 agent 4:12 从助手到 agent 的转变 5:23 Legora 使用哪些模型，以及为什么添加了模型选择器 7:48 当今的模型对律师来说够好吗？ 8:20 九个月前 agent 做不到的事 9:18 在模拟世界和 10,000 文件的数据室中测试 agent 10:07 evals 团队和 Legora 的 100 名法律工程师 11:03 当 evals 似乎不值得做时，以及一次发布如何将引用正确率从 70% 提升到 99% 12:18 五到十年后法律实践可能是什么样 14:18 律所合伙模式会存续吗？ 16:40 律师助理和初级律师会怎样？ 18:00 计费小时制，以及早期法律科技为何未能达标 19:39 钱现在流向哪里 22:44 Legora 如何用自己的产品做收购尽职调查 23:59 瑞典和美国律所有何不同 26:12 当你看不到 trace 时的产品指标 27:41 转述 trace，把失败缩小到 10 或 20 种类型 28:42 为什么数据隐私促使 Legora 把所有东西跑在 Azure 上 30:04 开放权重模型和模型套利 30:55 转录模型，以及为什么 Legora 不用 ElevenLabs 33:33 agent、Tabular Review、项目，以及 Word 插件 34:24 律师如何使用 Tabular Review 35:51 为什么电子表格有效，以及你从最初 10 行中学到什么 37:53 法律 intake 机器人如何在 Slack 中工作 39:11 agent 如何创建列表，列表如何启动 agent 40:15 用同样的组件构建产品，以及收购 Wexler 42:37 前置部署工程师在 Legora 做什么 43:52 法律工程师和前置部署工程师如何让一个大客户上线 46:43 前置部署团队未来一年要做什么 47:24 为什么 Legora 抗拒构建 API 49:26 agent 能成为 API 吗？ 50:12 “300 斯巴达人”幻灯片和保持 20 名工程师的计划 51:32 没人要求 Legora 下的赌注 53:05 为法律研究后训练开放权重模型 54:05 搜索、检索和 late interaction 54:51 什么造就了好的法律 agent harness，以及为什么起草取决于搜索 56:25 哪个模型写的草稿最好？ 57:03 幻觉和 Legora 的引用系统 57:41 律师会检查引用吗？ 58:19 对百万 token 的合同，用 MapReduce 还是一个大上下文窗口？ 1:00:16 获取匿名化示例，以及为数据收购一家律所的想法 1:01:53 为什么 Jacob 建议不要用默认 embedding 1:02:44 律师会在 Legora 里工作，还是通过 Claude 工作？ 1:03:26 模型实验室会切断 Legora 吗？ 1:04:24 法学院和计算机科学专业学生的奖学金 1:05:28 在纽约、斯德哥尔摩和伦敦招聘 1:06:09 为什么大多数工作最终都会变成法律工作 嘉宾 — Jacob Lauritzen，Legora 的 CTO https://legora.com 联合主持 — swyx，Latent Space 主持 — Basil Chatha，Forward Deployed https://forwardeployed.com