返回资讯中心
外部精选
软件工程
#开发者实时流

Isaacus 发布教程:用其模型构建法律文档冲突检测工具

来源标题:Build a legal document conflict detector

Isaacus 发布技术教程,介绍如何构建法律文档冲突检测应用,可识别两份法律文件之间相互冲突的条款以及一方有而另一方缺失的条款。该应用的核心工作由 Isaacus 的 enrichment、embedding 和通用分类模型完成,并用生成式模型总结发现。所有检测结果均基于两份文档原文,完整演示代码已在其开源 cookbook 的 GitHub 仓库中提供,仅支持 Python。

Hacker News 最新ubutler2026/11/12 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这个教程面向的是具备 LLM 基础知识的中级 Python 或 JavaScript 用户。如果想从更简单的内容入手,可以试试我们的《构建一个不会被判藐视法庭的法律 RAG 应用》指南。

本指南将带你构建一个应用,用于找出两份法律文件之间的冲突:既包括彼此相互冲突的条款,也包括一份文件中有、而另一份文件中没有的条款。

每一项发现都基于两份文件的原文。核心工作由 Isaacus 的 enrichment、embedding 和通用分类模型完成。生成式模型仅用于汇总发现结果。

虽然我们重点讲后端,但下面这个完整演示应用可以在我们的开源 cookbook GitHub 仓库中运行。该 cookbook 仅提供 Python 版本。

输入 Mistral AI 使用条款 参考文档 Common Paper 云服务协议 导出 PDF 上传文件 加载中…… 在你自己的文件上运行 本演示已预加载示例文档的缓存结果。要在你自己的文件上运行此应用,请下载代码! 下载仓库 加载中…… 一个检测参考合同与输入合同之间冲突的演示,运行的是我们模型的真实输出。要试用你自己的文档,请下载仓库。

比较在法律工作中由来已久:人工逐行阅读,同时对照清单或 playbook,最终形成供审阅的问题清单。有了 Microsoft Word 的修订跟踪、Kira 和合同生命周期管理平台等工具,提取和红线标注变得更容易了……但仍然相当依赖人工。

后来生成式 AI 出现了,各种模型被集成到法律审阅工具中。它们在文档处理方面提供了一定速度——这很好——但有一个致命弱点:召回率。把生成式模型指向两份文档并要求找出冲突:它能找到一些,但不会做全面的两两比较,无法扩展到长文档,还可能漏掉明显的冲突。除此之外,幻觉仍然是个问题。

引入自动化时,有几件事需要考虑,包括:

我们可以通过把生成式 AI 模型降级到它们真正擅长的领域——摘要和编辑,而不是审阅——来在提高召回率和精确率的同时考虑这些问题。对于审阅,我们将用不会产生幻觉的模型——Isaacus 的模型——来填补它们留下的空白。生成式模型只在最后阶段介入,因此任何幻觉都仅限于摘要、建议和重写内容中。

旁注:在撰写本文期间,我刚从 Odyssey IMAX 放映厅出来。每次我提到“条款”(provisions),要知道我想的是 Odysseus 为航行打包的那些给养。而且大概还饿着。

从根本上说,我们有一个待输入的文档,想把它与我们已有的参考文档进行比较。我们把它们拆分成条款,然后逐一处理每一对条款并做出判断。我们把所有结果称为发现(findings),共有两种类型:

就本演示而言,相互一致的条款会被忽略;这意味着我们只标记可能构成冲突来源的条目。

我们的应用会更复杂一些。代码分为三部分:

我们将重点放在前两部分,因为它们涵盖了发现偏差和缺口。

文档索引对每份文档运行一次:

我们还会缓存结果,以便后续步骤测试取值,而不是进行更多 API 调用。

文档分析对每对文档(一个输入文档和一个参考文档)运行一次:

第三部分,生成,是可选的。它使用生成式 AI 模型为每项发现写一段摘要:用一两句话说明两个条款之间的差异。它还会为每项发现写一条建议,说明是保留、删除还是重写。我会简要介绍它的工作原理,但我们会直接放入整个文件,看看它如何与其他部分配合。

本教程比较两份不同的协议:以 Common Paper 云服务协议作为参考文档,以 Mistral AI 的使用条款作为输入文档。

git clone --depth 1 https://github.com/isaacus-dev/cookbooks.git cd cookbooks/cookbooks/conflict-detector uv venv

Install required packages for the conflict detector.

uv pip install ftfy isaacus msgspec numpy python-dotenv text2markdown flask

Only needed for generation (section C) with an API model: install the one you use.

uv pip install anthropic openai google-genai

在该文件夹中创建一个包含 API 密钥的 .env 文件。

ISAACUS_API_KEY=your_isaacus_api_key_here

A. 索引文档

在比较文档冲突之前,我们首先必须识别其中的条款。每份文档都经历相同的阶段:加载、丰富为条款、嵌入这些条款,然后缓存所有内容。

法律文档可能很杂乱,有各种不同的模式和布局需要特别注意,例如表格。本演示的示例文件相当简单,因此通用的“清理”就能解决其余问题:损坏的编码、弯引号、不间断空格、多余的控制字符和尾随空白。清理它们有助于我们从模型获得更好的结果,也让它们在展示时更美观(💅)。

Isaacus 的模型是在 markdown 上训练的,因此典型的布局标记(如标题和文本格式)会被适当消化。我们的示例文件已经转换为 markdown。任何其他文本文件都会经过 text2markdown——我们那个将纯文本转换为 markdown 的库。

我们先重点关注 normalize 步骤。它接收文档文本并返回干净的 markdown。

本节使用以下依赖:

import re from functools import cache import ftfy from text2markdown import text2markdown NON_STANDARD_CONTROL_CHARS_RE = re.compile(r"[" + re.escape("\a\b\f\r\v") + "]") START_OF_TEXT_THAT_IS_ONLY_WHITESPACE_FOLLOWED_BY_NEWLINE_RE = re.compile(r"^\s*\n")

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →