
用评估基准测试邮件分类,解决重要邮件被淹没的问题
来源标题:Eval for Email Classification
作者认为Gmail自带的邮件分类器效果不佳:在最近50封邮件中,有48封被标为"重要",连"最后机会:2分钟问卷"这类邮件也包含在内,而"社交"标签已有3个月未被应用。作者尝试用评估基准(evals)来评估邮件分类,希望建立一个围绕"哪些邮件需要关注"来组织的收件箱,以便让智能体能够基于更清晰的分类开始工作。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
博客 更好的邮件标签。更有用的智能体 更好的邮件标签。更有用的智能体 邮件分类的评估
重要消息不应该淹没在噪音中。 但在我的收件箱里,有时确实如此。显然不该是这样,想象一下,一个围绕“需要你关注什么”来组织的收件箱,让你能专注于真正重要的事。这种清晰度让工作更容易完成,也为智能体提供了一个起点,让它们替你完成这些工作。
你可能会说:“但是 Adam,Gmail 已经在给我的邮件分类了,而且做得还挺好。”我以前没用过 Gmail 的分类器,所以把它们加到了我的收件箱里。purchases 会把所有收据放进一个文件夹,这对核对开支很有用。important 被应用到了我收件箱最近 50 封邮件中的 48 封。这不太有用,而且我可以向你保证,那封主题为“最后机会:一个 2 分钟的快速调查,ADAM”的邮件绝对不重要。Social 在过去 3 个月里一次都没被应用过,这有点侮辱人。我无法从剩下的标签 Updates、Promotions、Forums 中分辨出清晰的边界,所以我也没觉得它们有多大帮助。所以我认为 Gmail 的分类系统并没有让收件箱整洁多少。
为什么这么难?首先,数据类型差异很大。有些是 HTML 写的,有些是纯文本,还带着可以回溯几个月的邮件线程,每封回复都引用了下面的全部内容。内嵌图片和其他附件可能比邮件正文还大,而 base64 编码又会给它们的二进制大小增加大约三分之一。一封邮件可能抄送十几个人,各自回复线程中的不同部分。然后,邮件中相当大的一部分其实只是关于安全性和送达性的元数据。所以在你开始做任何分类之前,你需要先提取出与分类相关的那一小部分数据。
其次,如果你能挥一挥魔杖,让每封邮件都能按你想要的任何方式被准确分类,那些标签究竟是什么,真的清楚吗?如果清楚,请告诉我,我们可以为你构建出来。关键在于,想出一个有用的分类体系本身就是挑战的一部分,而且这必须在构建模型把邮件分类到该体系之前完成。此外,即使我们找到了一个适合你的分类体系,那些标签大概也不适合我。我们收到的邮件类型不同,围绕它们的工作流也不同。
但如果我们能获得针对每个用户收件箱的准确分类,那就能解锁几件非常酷的事情。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。