
加纳MinoHealth实验室破解自家AI模型,生成数千种毒素配方
来源标题:The small African lab sounding the alarm on AI bioweapons
加纳MinoHealth AI Labs研究人员在2024年移除其药物发现AI模型的安全护栏后,模型设计出1020种蛋白质和5000种小分子的毒素方案,毒性预测软件将其全部评为可能有毒,部分类似蓖麻毒素。该研究于2025年5月上传至arXiv预印本平台,创始人Darlington Akogo正推动非洲各国监管DNA合成服务商。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
加纳MinoHealth的研究人员对自己的LLM进行了越狱测试。结果涌现出数千种毒素配方——以及一场迫切的监管呼吁。
出于好奇,加纳阿克拉一家小型人工智能实验室的研究人员在2024年移除了其药物发现AI模型的防护栏。他们要求它转而设计毒素。
该模型生成了1,020种蛋白质和5,000个小分子的设计方案。研究人员从未在实验室中实际制造其中任何一种,但预测物质毒性的软件将所有这些都评为可能具有毒性。其中一些类似于蓖麻毒素——一种致命毒物。该研究于2025年5月上传至预印本服务器arXiv。
“我们都震惊了,”MinoHealth AI Labs创始人Darlington Akogo对Rest of World表示。
对Akogo而言,这些结果还引出了一个新问题:如果有人把这样的设计拿给一家提供DNA定制合成服务的公司,会有人阻止他们吗?
肯尼亚信息、通信和数字经济部高级官员Brenda Obuya对Rest of World表示,在整个非洲,监管DNA合成服务提供商的必要性正在政府最高层引发共鸣。
Akogo已走遍世界,警告AI构成生物武器的生存性威胁。他在去年于华盛顿特区举行的世界银行集团和国际货币基金组织春季会议期间讨论了这一问题。2023年,他在晚宴上与微软联合创始人Bill Gates讨论了更广泛的风险,他形容Gates当时“态度犹豫”。今年,Gates已发出多次公开警告。“AI已经越过了门槛——它如今具备了让一个生物恐怖分子杀死数亿人的能力,这种能力今天就存在,”他在9月的The Ezra Klein Show节目中说。这项研究已在Interpol内部讨论过,足见其影响之广。
“我认为,加纳AI实验室审视了这一问题并指出了潜在的滥用可能,这说明非洲机构正在为……AI治理做出贡献,”国际生物安全与生物安保科学倡议组织研究员Adam Abdullahi对Rest of World表示。
全球AI治理中心研究员Ayantola Alayande对Rest of World表示,自该研究发表以来,LLM的能力进一步增强,而入门门槛已经降低。“如今即使……[非专业]用户通过聊天机器人生成这类输出,也不足为奇。”
学者们长期以来一直警告AI的生物武器威胁,但AI系统真正超越博士级生物学家只是最近的事。
2022年,美国一家制药公司的科学家进行了与MinoHealth团队类似的实验。他们构建了一个生成式机器学习软件,生成了可能的化学武器设计方案。
Akogo表示,MinoHealth Lab研究与前述实验的不同之处在于所涉及的AI类型。他的团队使用的是一种为生物学和药物发现训练的通用LLM。
此后,研究人员已让多个LLM在所谓“越狱”过程中放弃了内置防护措施,并生成了生物武器建议及其他类型的危险内容。AI安全公司Mindgard创始人Peter Garraghan对Rest of World表示,这包括中国公司Moonshot AI的Kimi、Grok、Claude和ChatGPT。他告诉Rest of World,只需要坚持和语言上的创造力,就能学会如何向模型表述请求。
“你不需要是技术专家就能进行越狱,”他说。他的团队花了一天时间就攻破了Kimi。
SpaceXAI、Anthropic、OpenAI和Moonshot未回应置评请求。
英国政府研究机构AI安全研究所表示,最新的AI模型拥有更强的防护措施,尤其是在涉及生物滥用请求时,但即便是这些也并非万无一失。
今年9月,Anthropic报告了五起有人试图以可能支持生物武器开发的方式使用其AI模型的案例,使危险变得更加真实。据英国情报机构MI5局长Ken McCallum称,生物武器现已成为AI滥用的首要风险。“我最看重的滥用情形——是AI改变现有甚至新型生物武器风险格局的潜力,”他说。
2016年Akogo创立MinoHealth Labs时,他并不担心生物武器。相反,他想通过用AI解决加纳医护人员短缺的问题,让所有人都能获得医疗服务。
这一目标在2022年将Akogo推到了AI开发的前沿,当时他的团队开始开发一个名为Moremi AI的LLM。一年后,他们从Gates Foundation获得了149,533美元,用于构建一个基础模型,可以为放射科医生分析医学图像。该模型最终将能处理文本和图像、回答医学问题、帮助解读扫描结果并起草报告。它还将帮助设计药物。
MIT计算生理学实验室首席研究科学家Leo Anthony Celi对Rest of World表示,这一雄心在规模上与OpenAI和Anthropic等顶级硅谷实验室相当。2025年10月,Anthropic推出了Claude for Life Sciences,今年4月,Open AI推出了GPT-Rosalind。两者都是为加速生物学研究和药物发现而开发的AI工具。根据麦肯锡2026年的一份报告,2025年AI驱动的药物发现投资达到84亿美元,是2023年41亿美元投资额的两倍多。
MinoHealth的资源只是这些机构的一小部分,其20人团队在阿克拉一栋简朴的平房中工作——这与硅谷充满未来感的园区截然相反。
早期,Akogo曾夜不能寐。他担心竞争对手资金更充足、人才更多。但他后来认定,专注于特定用例的公司有多个并存的空间。
“我有一支由能力极强的人组成的小团队,所以如果这意味着我们以弱胜强,我想……这只会更令人兴奋,”他说。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。