研究用502道TOPIK阅读题测试五款决策模型
来源标题:Benchmarking Decision Models on the Test of Proficiency in Korean (Topik)
一项基准测试用502道TOPIK II阅读题评估五款决策模型,JEV 1.14准确率最高达97.0%,Tev1 4B平均每题响应最快为54毫秒。测试题目取自官方公开的12套试卷,剔除含图片和缺失原文的题目后保留纯文本题,并按官方答案核验。评估指标包括答题准确率、请求耗时和商业API成本。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我用502道历届TOPIK II考试公开的韩语阅读理解题,对五个决策模型进行了测试。 JEV 1.14准确率最高,达到97.0%;Tev1 4B速度最快,平均每道题54毫秒。我测量了答题准确率、请求时间和商业API成本。 决策模型从给定的选项中选出答案并返回概率。TOPIK的四选一阅读题,为在韩语环境下测试这一接口提供了直截了当的方式。 数据集来自TOPIK官方档案中12份公开发布的试卷,涵盖第35、36、37、41、47、52、60、64、83、91、96和102届。这些试卷共包含600道阅读题。我排除了72道需要看图的题目,以及26道在官方PDF中缺失原文的题目,最终剩下502道纯文本题。听力和写作不在本次测试范围内。 答案均对照官方答案键进行了核验。 每个模型收到的韩语题目、原文和四个选项完全相同,选项顺序也保持原样。每道题作为单独请求发送,不要求模型给出解释。准确率以全部502道题为分母计算,包括拒答的题目。 Tev1 4B、Nimble 9B和Clef Flash 9B通过Ollama 0.40.13运行,使用Q8_0量化模型。我的电脑配备RTX 5070(12 GB显存)、Intel Core Ultra 9 285K和64 GB内存。Tev1和Nimble完全在GPU上运行,上下文约为8K。Clef以2K上下文重测,所有模型层均放在GPU上;表中报告的是这一配置。托管候选模型为JEV 1.14.0和OpenAI Decisions(使用gpt-6-luna)。 每个候选模型内部的请求均按顺序执行。托管模型的初始运行与本地GPU任务同时进行。Clef使用该配置的重测则单独运行。计时在合成预热之后测量完整的API往返时间,托管模型还包括网络开销。成本根据报告的token用量和2026年11月1日记录的公开费率计算。预热时间和成本单独记录,未计入表中。本地电费和硬件成本未测量。 Clef的新配置将平均请求时间从290毫秒降至79毫秒,约快3.7倍。Q8_0权重和全部502个所选答案均未改变。 OpenAI拒答了两道题,我将这两题计入其准确率。除此之外没有其他请求失败。计入预热后,JEV的估计商业成本为$0.01317,OpenAI为$0.01850,合计约3.17美分。 这些结果(实际上所有基准测试都一样)有其局限。公开考试题可能已出现在模型训练数据中,本次运行无法确定模型在未见过的题目上的表现。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。