
数据科学周刊第677期发布,涵盖数据库优化与身份解析等内容
来源标题:Data Science Weekly – Issue 677
数据科学周刊第677期于2026年11月12日发布,分享了数据科学、机器学习、AI和数据可视化领域的值得关注的链接。本期内容包括Pivot在GROUP BY查询上的一项新优化、身份解析实践文章,以及基于三十年数据的法治与经济增长分析。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
1 分享 第677期 2026年11月12日 大家好!
每周我们都会写这封邮件,分享我们认为在数据科学、机器学习、人工智能、数据可视化以及机器学习/数据工程领域值得分享的链接。
那么……让我们来看看本周有哪些有趣的链接吧。
GROUP BY 经过了这么多年,还能被优化吗?
数据库世界最让我喜欢的一点是,一个看似简单的操作,当被优化到极致时,会变得极其复杂。顺着这个思路——我觉得分享我们最近发现的一个新颖优化会很有意思也很有趣,它显著提升了 Pivot 在 GROUP BY 查询中的性能,这类查询按聚合值找出前 K 个分组。比如,“哪 10 件商品的订单最多?”……
同一个人,五条记录
我最近为 OneSix 博客写了一篇关于身份解析的文章:《同一个人,五条记录:身份解析中真正有效的方法》。那篇文章涵盖了基础知识、自建与购买的对比、成本,以及 AI 在其中的位置。在这里,我想深入讲讲我构建的那条流水线的一些其他细节……
法治与经济增长:三十年数据揭示了什么
按人口加权计算,全球法治水平自1996年以来有所下滑。印度和美国对这一降幅贡献很大,而中国的净影响可以忽略不计,这得益于其从00年代中期的回升。法治更强的国家往往更富裕,法治改善的国家更有可能增长更快,但这条规律也有很多例外——中国的增长速度高于其法治评分变化所能预期的水平,亚美尼亚、波斯尼亚和黑塞哥维那、圭亚那和缅甸也是如此……
本周投票: 加载中…… 上周投票: 。
“你在我公司算是个英雄”
我最引以为豪的工作,未必是最有用、最知名或别人认为最好的工作。几年前我得知,一个我花了大约15分钟随手拼出来的模型——多年来我一直暗自为它的简陋感到不好意思——被一家成功的公司用着。但我刚刚得知,这个模型的使用范围和受认可程度远超我的想象。而我也刚刚失去了两个稳定的咨询客户,他们加起来每年贡献了我约60%的收入,所以现在是时候做点自我推销了。我觉得这里面有更广泛的教训:简单的美德、我们有时并不善于评判自己的工作,或许还有其他一些主题。那么,下面是这个故事……
大约去年这个时候,我做了一次 AMA,觉得体验相当不错。我想再做一次。如果大家有什么问题,也许我们可以一起讨论讨论 : )……
线性规划能做权重空间编程吗?
上周,MIT CSAIL 发表了《权重空间编程的火花》。给定一个小型网络的原始权重,GPT-6 Astra 能判断出它被训练来玩哪个游戏……在另一个实验中,他们让 Astra 通过编辑 Qwen3.5-0.8B 的权重来提升其数学能力……看了 Astra 的编辑过程,我意识到它的搜索大部分是在用试错法解一个线性规划。它花了大约8小时和28次前向传播来选择改哪些权重、改多少。而两次各约一分钟的 LP 求解就能完成同样的工作,且改动的权重少8倍。在这篇文章中,我将逐步讲解这次编辑、为什么它是一个 LP,以及这对修复本身意味着什么……
贝叶斯非参数统计中的惰性
LazyPPL 是一个用于贝叶斯概率编程的 Haskell 库。它支持概率的惰性使用,我们提供了新的 Metropolis-Hastings 算法来实现这一点。LazyPPL 受到合成概率论和合成测度论近期思想的启发,例如拟博雷尔空间和马尔可夫范畴。惰性似乎是非参数统计的一个良好范式。
一直管用,直到不管用;一直不管用,直到管用
对新技术高度炒作的结果是,人们开始认为:
世界刚刚被永远改变了(这有时——但很少——在某种程度上是真的)。 被炒作的新技术将继续以强大而难以想象的方式改变世界。 新技术是一生一次、甚至千年一遇的独特事件。
[[我认为这三种想法与创立新宗教或邪教的想法相似,这并非巧合。但我下面的论证与这种相关性无关。]]
本文的主题是以下这则公案在新技术上的应用。它是两条非常普遍的真理,而那些自认为强大的人忽视它们,是要自担风险的……
男性圈完全搞错了。如果你想在这个世界上成为一个成功的男人,你首先需要学会做一个好的管理者。职业生涯越往前走,我越看到这一点。让我补充一些细节。我先来谈谈男性圈,然后再回到科学职业……
在不共享个体数据的情况下审计跨机构的人口统计学均等
假设几家银行使用同一套评分系统来评估信贷申请人。每家银行审计不同人口群体获得的评分,发现差异很小或没有差异。我们能否得出结论说,这套评分系统在整个人群中也是同样平衡的?未必。事实上,每家银行都可能通过其本地审计,而当所有申请人放在一起考虑时,却会浮现出显著的差异。问题未必出在统计估计不佳:本地审计和全局审计可以测量根本不同的东西。这是我们最近论文《从分位数草图联邦测量人口统计学差异》的出发点……我们提出一个实际问题:当相关评分数据由不同机构持有且无法汇总时,我们能否测量全人群的人口统计学差异?……
生成迷你填字游戏
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。