
AI Alliance 推出 Project Tapestry,让多机构联合训练前沿基础模型
来源标题:Project Tapestry: A consortium approach to training frontier foundation models
AI Alliance 发布开源平台 Project Tapestry,支持全球联邦式联合开发前沿 AI 模型,数据留在本地、仅交换模型权重。印度 BharatGen 与澳大利亚莫纳什大学等四个站点已参与首轮训练与调优,成果将全部公开。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
BharatGen(印度)· Monash University(澳大利亚)· 悉尼 · 弗吉尼亚
四个站点仅通过交换模型权重来训练和调优共享模型。每个站点的训练数据都留在原地。这是初步成果,而非最终答案,所有发现都会公开,包括那些不尽如人意的结果。
AI Alliance 是一个拥有 200 多家成员组织的非营利性 AI 研究与开源技术联盟,现推出 Project Tapestry——一个用于全球联邦式开发前沿 AI 模型的新型开源平台——以保障本地控制权和长期独立性。
如今,开放权重 AI 模型随处可见。但仅有开放权重并不能让预训练变得人人可参与。
基于分布式训练领域的进展——这些进展已证明全球联邦式模型开发能够匹配同步基线——该项目使机构、行业和国家能够共同训练一个共享的开放基础模型,同时保留对自己数据的控制权,以及构建符合自身优先事项的主权衍生模型的能力。
这个论点是可验证的,科学基础已经就绪。剩下的就是协调。
如今,具有前沿性能的模型由少数几个地区的少数组织拥有和控制。世界上只有一小部分数据、算力基础设施和技术社区参与了前沿模型的开发。
如果我们能汇聚更广泛的知识、资源、人才和组织,共同构建一个新的全球基础模型——实现任何单一组织都无法复制的性能,且每个参与组织都能在此基础上继续构建——那会怎样?
跨数据中心训练已有公开发表的研究。Tapestry 则是在没有共同雇主、没有共同司法管辖区、没有共享硬件的机构之间进行训练,且没有任何单一权威主导整个训练过程。这正是任何单一组织无法独自完成的部分。
Tapestry 汇聚全球联盟的数据、算力和人才,构建下一代前沿基础模型——基于比以往更大、更多样化的语料库进行训练。
一个性能超越所有其他模型的全球基础模型系统,同时赋能合作伙伴拥有和控制的主权衍生模型。
个人、组织或国家可以拥有和控制自己的 AI,按自己认为合适的方式使用它,并保留由此创造的价值——独立性与自主权。
由联盟管理的数据访问权创造了结构性优势。分布式所有权、可持续的资金支持和使命锁定的治理确保信任。
合作伙伴保留对其数据和算力的完全所有权——以及由此创造的价值。每一份贡献都让所有所有者共同构建的基础模型更加强大。
保留自有数据和算力 合作伙伴节点 保留自有数据和算力 合作伙伴节点 保留自有数据和算力 合作伙伴节点 保留自有数据和算力 图 A——核心是共享基础模型;合作伙伴节点参与共享训练,并获得改进后的基础模型以及构建主权衍生模型的权利。每个合作伙伴节点保留自己的数据和算力。 运营模式 Tapestry 运营模式背后的设计原则——贡献无处不在,技术集成在核心进行,治理为所有人所信任。
数据可以私下贡献给核心训练语料库,仅用于基础模型训练。敏感数据保留在合作伙伴节点,在本地用于更新权重——只有权重被共享。
任何合作伙伴都可以使用相同的基础设施创建基础模型的衍生模型,并完全拥有和控制该模型。
来自全球合作伙伴的训练数据可能成为 Tapestry 最重要的资产之一,也是我们差异化的来源。作为起点,我们寻求编目全球合作伙伴的潜在训练数据来源。
元数据优先的贡献方式——合作伙伴按类型和元数据描述贡献内容;数据留在本地,原始语料库从不外传。
两个概念验证在印度、澳大利亚和美国运行。三项发现塑造了后续训练的设计。
在总训练量不变的情况下,将站点间的权重合并次数减半,结果差了约三分之一。节点合并的频率是首要的设计选择。
印度站点拥有比澳大利亚站点更多的 GPU 和网络容量,率先完成了数据处理,且仅合并了来自对等节点的少量更新。硬件差异决定了节点之间能相互学到多少。
当某个对等节点掉线时,本地训练基于其最新的更新继续进行。没有节点会等待另一个节点超过设定时限。
一个验证框架发现,基于文化根基数据的持续预训练改变了模型回答价值观调查的方式,但没有显著改变其在开放式使用中的行为。这一差距是里程碑一所要面对的开放性问题。
BharatGen、Monash University、Flower Labs、Aitomatic 和 Stony Brook University,OpenMined、Common Crawl 和 GSMA 加入里程碑一。
三个工作流,均对新的贡献者开放。在 GitHub 上认领一个。
从两个节点扩展到多个节点,并解决站点算力差异巨大时的合并节奏问题。
弥合模型在调查中的表述与其在开放式使用中的行为之间的差距。
将 0.1 版需求转化为合作伙伴可以签署的工作框架。
进展由技术验证点、合作伙伴承诺、算力可用性、数据就绪度和资金门槛来把关。
MOU、初始赞助方、技术演示、数据目录原型;组建指导委员会。
N 节点训练、本地调优、初始聚合、首个法律/数据框架;初始治理与实体。
从零开始的小模型、持续预训练流水线、首批主权衍生模型。
行业/政府用例、更大规模训练、开发者与合作伙伴生态系统。
取决于算力、数据和资本门槛。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。