
苹果推出 Foundation Models 框架,支持在应用中集成任意大语言模型
来源标题:Foundation Models framework
苹果发布 Foundation Models 框架,这是一套原生 Swift API,可将任意大语言模型集成进应用,并可直接调用 Apple Foundation Models 的端侧及 Private Cloud Compute 能力。框架内置引导生成、工具调用、图像理解和 Dynamic Profiles 等功能,支持多模态提示并集成 Vision 框架能力。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Foundation Models 框架是在你的 app 中使用任何大型语言模型的最佳方式。无论你是要生成一条简短的摘要,还是构建动态 agent,这个框架都能提供你所需的一切。
Foundation Models 框架是一个原生 Swift API,用于将任何大型语言模型集成到你的 app 中——包括直接访问运行在设备端和 Private Cloud Compute 上的 Apple Foundation Models。引导式生成、工具调用、图像理解和 Dynamic Profiles 等强大能力均已内置,让你拥有构建独特体验所需的一切。
Foundation Models 框架的新特性 了解 Foundation Models 框架 Foundation Models 框架 生成式 AI 的人机界面指南
图像理解 多模态提示词让你可以在文本之外一并传入图像,使你的 app 能够对视觉内容进行推理。这为你开启了利用图像理解构建的全新体验类别——只需在提示词中附加一张图像即可,就是这么简单。Vision 框架也已直接集成,为你的模型提供 OCR(用于精确提取文本)和条码读取器(用于快速扫描代码)等专用工具——全部在设备端完成。 图像理解的新特性
模型支持 Foundation Models 框架让你可以直接访问位于 Apple Intelligence 核心的设备端基础模型,从而构建智能、私密且无需联网即可使用的体验。 设备端模型对许多任务都非常有用,但有时你需要一个更大的模型来应对更复杂的工作流。Foundation Models 框架现已扩展到服务器模型——例如 Claude、Gemini 等——全部通过同一套 Swift API 访问,并完整支持工具调用和引导式生成等功能。任何模型提供商都可以创建一个遵循 Language Model 协议的 Swift package,该协议是框架的基础组件,让你能为自己的 app 挑选合适的语言模型。 对于刚入门的开发者:已加入 App Store 小企业计划、且 App Store 首次下载量少于两百万次的开发者,可以免费使用运行在 Private Cloud Compute 上的 Apple Foundation Models,无需支付云 API 费用。* 这带来了前沿级别的智能,同时具备无与伦比的隐私保护,确保用户数据不会被存储,Apple 或任何其他方也无法访问。 使用 Private Cloud Compute 上全新的 Apple Foundation Model 进行构建 将 LLM 提供商接入 Foundation Models 框架
Dynamic Profiles Dynamic Profiles 是新的声明式 API,用于在运行过程中持续更新会话的模型、工具和指令。你无需创建具有固定配置的会话,而是定义多个 profile——每个 profile 都有自己的模型、temperature、推理级别和工具集——并在同一个连续会话中在它们之间切换。会话记录会在每次 profile 切换时共享,因此你的 app 能以更少的提示词获得更具上下文感知的智能。Dynamic Profiles 被设计为可适配的构建模块:用它们来构建 AI agent、技能,或你的 app 需要的任何其他高层抽象。 使用 Foundation Models 框架构建 agentic app 体验 使用 Instruments 调试和分析 agentic app 体验 使用 Core Spotlight 进行 LLM 搜索
Evaluations 框架 Evaluations 框架让你能够测试提示词,并验证由智能驱动的功能在动态条件下能否正确工作,这超出了单元测试单独所能覆盖的范围。无论你是在迭代指令、切换模型,还是在调优 Dynamic Profile,Evaluations 都能让你在发布前确信 app 的行为经得起考验。 了解 Evaluations 框架 使用 Evaluations 通过爬山法改进你的提示词 为 agentic app 创建稳健的评估
CLI macOS 27 中全新的 fm 命令行工具让你能够简化脚本编写、自动化模型工作流,并在不写一行 app 代码的情况下加速开发。你可以快速制作原型,从想法到实现一路畅通。 使用 fm CLI 和 Python SDK 构建 AI 驱动的脚本
开源 为了帮助你开始采用新兴的 AI 模式,Foundation Models 框架实用工具包在框架之上添加了实验性抽象——包括自定义技能、上下文管理辅助工具,以及一个可连接到你所选托管模型的 Chat Completions 客户端。 Foundation Models SDK for Python 将该框架扩展到 Python 生态系统中,让你能够与 Python 中流行的工具和评估包集成。 Foundation Models 框架的可接受使用要求列出了 Apple Foundation Models 的禁止用途。此外,根据《AI 法案》第 53(1)(b) 条,我们向打算将 AFM 3 Cloud 集成到其 AI 系统中的 AI 系统提供商提供相关信息和文档。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。