返回资讯中心
外部精选
软件工程
#开发者实时流

Splink:面向大规模数据的概率记录链接 Python 工具

来源标题:SPLink-Data Linkage at Scale

Splink 是一个用于概率记录链接(实体解析)的 Python 包,可在没有唯一标识符的数据集中对记录进行去重和链接。它能在笔记本电脑上约一分钟内链接一百万条记录,并支持通过 Spark 等大数据后端处理超一亿条记录,且无需训练数据,采用无监督学习方式。其核心算法基于 Fellegi-Sunter 记录链接模型,并提供交互式输出帮助诊断链接问题。

Hacker News 最新tomrod2026/11/11 · 6 天前10 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Splink 是一个用于概率记录链接(实体解析)的 Python 包,可以让你在没有唯一标识符的情况下对数据集中的记录进行去重和链接。

⚡ 速度:能在笔记本电脑上约一分钟内链接一百万条记录。

🎯 准确性:完全支持词频调整和用户自定义的模糊匹配逻辑。

🌐 可扩展性:可以在 Python 中(使用 DuckDB)或 Spark 等大数据后端上执行链接任务,处理 1 亿条以上的记录。

🎓 无监督学习:不需要训练数据,模型可以通过无监督方式训练。

📊 交互式输出:提供多种交互式输出,帮助用户理解模型并诊断链接问题。

Splink 的核心链接算法基于 Fellegi-Sunter 记录链接模型,并做了多种定制以提高准确性。

考虑以下缺少唯一人员标识符的记录:

Splink 会预测哪些行应该链接在一起:

并将这些链接聚类,生成估计的人员 ID:

使用 Splink 之前,输入数据应经过标准化处理,列名和格式保持一致(例如转为小写、清理标点符号等)。

当输入数据包含多个相关性不高的列时,Splink 的效果最好。例如,如果实体类型是人员,你可能会有全名、出生日期和城市这几列。如果实体类型是公司,你可以有名称、营业额、行业和电话号码这几列。

当一个列的值在很大程度上可以由另一列的值决定(预测)时,就出现了高度相关性。例如,“城市”字段与“邮编”几乎完全相关。性别与“名字”高度相关。如果你的所有输入列都高度相关,问题会尤其严重。

Splink 并非为链接包含“词袋”的单一列而设计。例如,一张只有“公司名称”一列、没有其他信息的表。

我们在 PyData Global 2024 的演讲简要介绍了 Splink,可在 YouTube 上观看。

如果阅读文档后你仍有疑问,欢迎在我们的讨论论坛上发帖。

以下是我们部分已知用户及其使用场景的列表:

遗憾的是,我们并不了解大多数用户的情况,也不知道他们在做什么。如果你有使用场景但未列在此处,请将其添加到列表中!

🥇 Civil Service Awards 2025:创新类别 - 获奖

🥇 Civil Service Awards 2025:卓越交付奖由一个由 Splink 驱动的仪表板获得。

🥇 OpenUK Awards 2025:开放数据类别 - 获奖

🥈 Civil Service Awards 2023:数据、科学与技术最佳应用 - 入围

🥇 Analysis in Government Awards 2022:人民选择奖 - 获奖

🥈 Analysis in Government Awards 2022:创新方法 - 入围

🥇 Analysis in Government Awards 2020:创新方法 - 获奖

🥇 Ministry of Justice Data and Analytical Services Directorate (DASD) Awards 2020:创新与影响 - 获奖

如果你在研究中使用了 Splink,我们希望你能按以下格式引用:

title = {Splink: Free software for probabilistic record linkage at scale.}, author = {Linacre, Robin and Lindsay, Sam and Manassis, Theodore and Slade, Zoe and Hepworth, Tom and Kennedy, Ross and Bond, Andrew}, year = 2022, month = {Aug.}, journal = {International Journal of Population Data Science}, volume = 7, number = 3, doi = {10.23889/ijpds.v7i3.1794}, url = {https://ijpds.org/article/view/1794},

致谢¶

我们非常感谢 ADR UK(Administrative Data Research UK)作为 Data First 项目的一部分为这项工作提供了初始资金。

我们非常感谢 Katie Harron、James Doidge 和 Peter Christen 教授在 Splink 开发过程中提供的专家建议和指导。我们也非常感谢英国国家统计局(Office for National Statistics)的同事对这项工作的专家建议和同行评审。任何错误均由我们自己承担。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →