AIRTranslate称盲测中以108比1击败Google Translate
来源标题:Google's own AI judged us against Google Translate. Google lost 108 to 1
AIRSkip旗下AIRTranslate公布盲测结果:在118轮翻译对比中,其译文被Gemini 4 Argon判定优于Google Translate达108次,Google Translate仅胜1次,另有9次平局。测试覆盖西班牙语、葡萄牙语、法语、阿拉伯语和中文的11个国家变体,每轮均以两种顺序盲读并由Gemini 4 Argon裁决。所有句子、译文和判定结果均已公开。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
地图上,西班牙语是一种语言。到了街上,它至少有二十种。墨西哥人买 palomitas,阿根廷人买 pochoclos,哥伦比亚人买 crispetas,三个人买的都是爆米花。大多数翻译应用给这三个人同一句话。
AIRTranslate 建立在相反的理念上:翻译应该听起来像你脚下这片土地。于是我们衡量了这个理念,用的裁判完全有理由偏袒对方。
下面每个方格是一轮:一句话,指定一个国家,两个系统各自作答,由 Gemini 4 Argon 盲评。AIRTranslate 在 118 轮中胜出 108 轮。Google Translate 胜出 1 轮。其余 9 轮平局。
🇦🇷西班牙语(阿根廷)· 第 1 句,共 12 句 “Let's get popcorn and a soda before the movie starts.” Vamos a comprar palomitas y un refresco antes de que empiece la película. Vamos a comprar pochoclos y una gaseosa antes de que empiece la peli. AIRTranslate 使用了阿根廷口语中标准的里奥普拉滕塞特有词汇('pochoclos'、'gaseosa',以及非正式的'peli'),而 Google Translate 用的是其他地区的说法。 裁判看到的是 A、B 两个译文。其评语中的名称由我们填入。
🇦🇷西班牙语(阿根廷)· 第 1 句,共 12 句 AIRTranslate 胜出“Let's get popcorn and a soda before the movie starts.” Vamos a comprar palomitas y un refresco antes de que empiece la película. Vamos a comprar pochoclos y una gaseosa antes de que empiece la peli. AIRTranslate 使用了阿根廷口语中标准的里奥普拉滕塞特有词汇('pochoclos'、'gaseosa',以及非正式的'peli'),而 Google Translate 用的是其他地区的说法。 裁判看到的是 A、B 两个译文。其评语中的名称由我们填入。
网格内的规律正是它可信的原因。9 轮平局中有 5 轮是葡萄牙语——Google 为巴西和葡萄牙各有一个专门版本;另有 4 轮是两个系统写出了完全相同的词句。一边倒的结果出现在 Google 的一个答案要服务整个大洲的地方。
Google 对每种语言只提供一个西班牙语版本、一个阿拉伯语版本,服务于所有使用该语言的国家。 在我们的四个西班牙语变体和两个阿拉伯语变体上,AIRTranslate 在 68 轮中被偏好 67 次,另有一轮平局。
同一句英语,指定四个国家。Google Translate 给所有国家返回同一句话。AIRTranslate 恰好改动了本地人会改的那些词。 “Let's get popcorn and a soda before the movie starts.” Vamos a comprar palomitas y un refresco antes de que empiece la película. Vamos por unas palomitas y un refresco antes de que empiece la película. Vamos a comprar pochoclos y una gaseosa antes de que empiece la peli. Vamos por crispetas y una gaseosa antes de que empiece la película. Vamos a por palomitas y un refresco antes de que empiece la peli. 动词在阿根廷会变形。购物清单在开罗会换词。连地铁在台北都有另一个名字。橙色的词暴露了 Google 的版本;绿色的词才是本地人会说的。
阿根廷人用 voseo 说话:说 apurate,从不说西班牙和教科书里的 date prisa。 “Give me a kilo of tomatoes and some bread.” 在开罗的市场,面包是 عيش,要用 هاتلي 来要。Google 写的是教科书式的正式阿拉伯语。 “I'll take a taxi to the subway station.” 台北人坐的是 捷運。即便按名字指定台湾,Google 印出的仍是大陆的 地鐵。
这是一个 Google 官方支持的变体,可它仍然说 faire l'épicerie(去杂货店购物)。魁北克人说 magasiner。 “We rented a cute little cottage by the lake.” 裁判认为我们的 ben 作为书面语太俚俗,偏好了 Google 平实的 beau petit chalet。这个判断合理,我们照常公布。
在质量之前,先要问你能不能提出请求。下面每个点是一种语言的某个国家版本,由某个翻译应用提供。Apple Translate 没有西班牙语、阿拉伯语、法语或葡萄牙语的国家版本。它无法被要求翻译墨西哥西班牙语,所以没有质量测试可做:在那里,这个请求根本不存在。
西班牙语覆盖 23 个国家,阿拉伯语 23 个,法语 32 个,英语 34 个,还有更多。 美国和英国英语,巴西和葡萄牙葡萄牙语,两种中文书写系统,魁北克法语和一种拉丁美洲西班牙语。一种阿拉伯语。 魁北克法语、葡萄牙葡萄牙语和两种中文书写系统。一种西班牙语、一种阿拉伯语,服务所有国家。 美国和英国英语以及两种中文书写系统。西班牙语、阿拉伯语、法语和葡萄牙语没有国家版本。
日常英语,写的时候就让自然译文在词汇、习语、语域或书写系统上因国家而异。同组变体共用相同的句子:共 118 轮。 AIRTranslate 和 Google Translate,都是任何人当天能用的版本。Google 若没有某个国家的版本,就用它最接近的版本,这也是向 Google 请求该国家的用户所得到的。 Gemini 4 Argon,默认设置,看到 A、B 两个答案,被问哪个会让该国母语者觉得自然。若它偏向任何一方,也不会是我们。 只有两个顺序结论一致才算胜出;其余都算平局。118 个裁决中有 113 个正反两序相同。 每一句话、两个系统的每一个译文、每一个裁决及其理由,全部公开,以便任何人重跑这项研究或对某个判定提出异议。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。