
Translated 发布多语言模型 Lara Mini,同级 36 款模型中排名第一
来源标题:Lara Translate
翻译公司 Translated 推出通用大模型 Lara Mini,作为 Lara 4 Translation AI 的底层模型。该模型用 6T token 训练,训练结束时在同类最多 2B 活跃参数的 36 款模型中排名全球第一,支持 128K 上下文。其训练数据来自多语言真实文本,并称区别于主要依赖英语的大实验室做法。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
作为 Lara 4 Translation AI 底层的通用 LLM,Lara Mini 从第一天起就被打造为最具多语言、多文化能力的模型。在完成 6T token 训练后,它在全球同类 36 个模型中排名第 1。大型实验室主要用英语训练,把其他语言和文化视为拖累质量的噪声。Translated 的本职工作是翻译,它用多种语言和文化写成的真实文本构建 Lara。透过多种语言和文化来看同一个想法,模型能更好地理解这个想法。#1 / 36 个活跃参数最高 2B 的模型,全球范围,训练于 6T token,128K 上下文。每次动量更新在应用前都会做正交化(Newton–Schulz),因此权重矩阵的每个方向以相近速率移动,而不是少数方向主导。训练时上下文窗口为 4,096 token;词表为 151,643 token。6T 训练 token 来自跨所有来源去重的池:39% 的原始 token 被过滤掉。没有来源重复超过 2 个 epoch(wiki 和高质量数学数据除外);普通网页数据从不重复。学习率调度。评估模型:训练结束,6T token。每个阶段都是在各自 step 边界加载的独立数据混合。Transition:在稳定学习率下连接两个阶段的桥梁,此时混合数据已向 anneal 阶段(更多高质量、QA、代码和数学数据)推进一半,使模型在衰减前完成适应。Anneal:最高质量的混合数据,同时学习率在最后 10% 衰减到零。各阶段 token 占比。数据经过打乱,而不是按领域逐块喂入:每批 2,048 条序列都以大致这些比例混合所有领域。类 SFT 数据(QA、数学和代码指令数据):main 阶段占 2%,整个训练过程占 3.5%。Overall = ¼ 英语 + ¼ 多语言 + ¼ 数学 + ¼ 代码。每个模型都由我们用 lm-evaluation-harness 以及相同的答案格式修正来评分。每个多语言基准都在我们训练所用的 44 种非英语语言上取平均。不偷看:最终训练阶段跳过所有包含基准题目的文档。在 Overall、Text 和 Multilingual 上排名第一,Overall 领先 granite-4.0-h-tiny 3.1 分。基准定义。我们的模型是 6T token 训练的最终 checkpoint,上下文扩展到 128K;其 anneal 阶段跳过所有包含基准题目的文档。其类别:活跃参数最高 2B 的模型(gemma-4-E2B 按其 2B 有效规模计)。对每个模型,多语言分数都在我们训练所用的 44 种非英语语言上取平均。36 个活跃参数最高 2B 的模型(gemma-4-E2B 按 2B 有效规模计,总参数 5.1B)。多语言分数在我们训练语言上评估。柱状图从 0 开始。Overall = ¼ 英语 + ¼ 多语言 + ¼ 数学 + ¼ 代码。领先下一个欧洲模型 +16 分(+39%)。我们这一类别的欧洲主权模型(9 个),来自欧洲实验室:活跃参数最高 2B。Overall 分数,多语言在我们训练语言上评估。Text = 英语(10 个基准)与多语言(9 个基准,我们训练的 44 种非英语语言)的平均值。分开看:英语 #2(66.4),多语言 #1(56.7)。Math & Code = 数学(GSM8K、MATH、MGSM)与代码(MBPP、MBPP+、CRUX-I、CRUX-O)的平均值。数学 #1(59.9),代码 #5(45.1)。Lara Mini Base 的得分超过同类其他全部 35 个模型,包括活跃参数最多多 3 倍的模型,例如 Qwen3-1.7B 和 gemma-4-E2B。Lara Mini Base(A0.6B/7.2B)· 57.0;granite-4.0-h-tiny · 53.9;gemma-4-E2B。Overall 分数对活跃参数,对数刻度。阶梯线是前沿:没有活跃参数更少的模型得分更高。gemma-4-E2B 按其 2B 有效规模绘制(总参数 5.1B)。限量发布 · 谁可以使用。Lara Mini 是下一代 Lara Translate 应用中 Lara 4 离线翻译功能背后的基础模型。你的文本永远不会离开手机,每次翻译仍在 1 秒内完成。部分 Translated 企业客户将获得访问权限。Lara Mini 设计用于针对专门的主权应用进行微调,可在移动设备上运行,在我们的云上提供低于 20 ms 的端到端延迟,每秒处理数百万 token。向 AI 研究人员开放访问,以便复现我们的结果并在此基础上继续推进多语言研究。只有在当前阶段拿到奖牌,我们才会训练下一阶段。用 Lara Base(A0.6B/7.2B)赢得 tiny 类别。Lara 4 Mini 和 Lara Mini LLM,面向超低延迟和移动设备。拿到奖牌 → 我们训练 National 阶段。没有奖牌,我们就停止。进入 small 类别,并在那里也拿到奖牌。Lara 4 翻译模型和 Lara Piccola LLM,一个欧盟主权的 A7B/138B 模型。拿到奖牌 → 我们训练 Olympics 阶段。没有奖牌,我们就停止。进入前沿类别,与全球最好的模型竞争。Lara 5 超越 P95 专业译员。Lara Grande:一个欧盟主权前沿 LLM,领先中国模型,接近 Anthropic 和 OpenAI。参考模型:tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra、Claude 5.6、Kimi K3。来源:Lara 4 LLM Training Budget Planning,2026 年 11 月 3 日 · FP8 · 仅计算成本 · Saggia 天数按计划方法估算。60 层、138B 参数:要击败 Gemma 4 31B 的模型。当前领先者:Qwen3.5-122B-A10B、GLM-4.5-Air。在 medium 模型类别中击败高度多语言的 dense 模型。32 节点下每 step 30.7 秒 · 与 Lara Mini Base 相同的 hybrid attention(GDN、window、global)。Lara Mini Base 背后的架构、训练数据、基准和方法,全部在一份文档中。留下你的信息,我们会通过电子邮件发送给你。部分 Translated 企业客户将获得访问权限。Lara Mini 设计用于针对专门的主权应用进行微调,可在移动设备上运行,在我们的云上提供低于 20 ms 的端到端延迟,每秒处理数百万 token。使用 Lara 翻译文本、文档和对话——这位译者建立在这项研究之上。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。