
OwnOwl 在 iPhone 13 Pro 上离线运行 14GB MoE 大模型
来源标题:Run a large language model on your iPhone. No internet is needed
OwnOwl 推出可在 iPhone 13 Pro 上完全离线运行的大型语言模型应用,聊天不联网、对话数据不离开设备。该应用在 6GB 内存的机型上运行 14GB 的 MoE 模型,并通过离开应用时释放内存、返回时重新加载的方式降低内存占用。目前为限时测试版本,内置到期时间后停止工作,仅限评估测试,禁止商用和再分发。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
OwnOwl 完全在你的 iPhone 上运行大语言模型。聊天过程不使用互联网,你的对话永远不会离开你的设备。它支持多种语言,只在你确认后才会记住关于你的事实,并使用熟悉的即时通讯风格界面聊天。
这是一个限时测试版本,仅供评估使用。它在内置的到期日期之后将停止工作。安装前请阅读 LICENSE.md。仅供评估和测试——不得用于商业用途,不得再分发。
首次回复快得多。应用在加载时会预热,并记住每个对话,因此重新打开聊天再次提问时几乎可以立即回答,而无需重新读取整个历史记录。
回答长度与“继续”。默认提供更长的回答,并提供一个“继续”按钮,用于延长达到长度限制的回复。
回答时状态更清晰:先显示“思考中……”,然后显示“输入中……”,模型思考时显示加载指示器。
内存占用更轻。当你离开应用时,它会从内存中释放模型,回来时再重新加载。
关于你的记忆。它可以记住关于你的事实——仅限你确认过的那些——并在之后的回答中使用它们。
稳定性修复:应用进入后台或生成长回答时不再崩溃;发送消息时滚动更流畅。
要求
一台拥有 6 GB 或更多 RAM 的 iPhone。这是必需的。可用的示例:iPhone 12 Pro、13 Pro、14 / 14 Plus / 14 Pro / Pro Max、15 及更新机型,以及搭载 M1 芯片或更新芯片的 iPad。
拥有 4 GB RAM 的手机(例如普通版 iPhone 11、12、13)不受支持,较大的模型无法装入。
iOS 17 或更新版本。
为你选择的模型准备足够的可用存储空间:约 6 GB(GigaChat)、9 GB(Ling)或 14 GB(Gemma)。通过 Wi-Fi 下载。
需要一台 Mac 或 Windows PC 进行一次安装(见下文)。
速度取决于手机。在 iPhone 13 Pro 上:GigaChat 约 7 词/秒,Ling 约 12 词/秒,Gemma 约 3 词/秒。拥有 8 GB RAM 的更新机型更快。
Apple 不允许直接从 GitHub 安装应用。你使用一个免费工具从 Releases 页面安装 .ipa 文件,该工具会用你自己的 Apple ID 对其进行签名。该应用未越狱,也不需要特殊账户。选择以下两种方法之一。
在你的电脑上,从 https://altstore.io 安装 AltServer 并运行它。 用数据线连接你的 iPhone,或让它与电脑处于同一 Wi-Fi 网络。 在 AltServer 中,选择“Install AltStore onto your iPhone”(将 AltStore 安装到你的 iPhone),并用你的 Apple ID 登录(免费账户即可)。 在 iPhone 上,打开“设置”→“通用”→“VPN 与设备管理”,在“开发者 App”下点击你的 Apple ID,然后点击“信任”。 从 Releases 页面下载 OwnOwl.ipa 到 iPhone(或电脑)上。 在 iPhone 上打开 AltStore 应用→“我的 App”→+→选择 OwnOwl.ipa。 当 iOS 提示时开启开发者模式:“设置”→“隐私与安全性”→“开发者模式”→开启,然后重启。 AltStore 可以在你的电脑处于同一网络时自动刷新应用,因此你很少需要重复此操作。
从 https://sideloadly.io 在你的 Mac 或 PC 上安装 Sideloadly 并打开它。 用数据线连接 iPhone。 将 OwnOwl.ipa 拖入 Sideloadly,输入你的 Apple ID,然后点击 Start。 在 iPhone 上:“设置”→“通用”→“VPN 与设备管理”→点击你的 Apple ID→“信任”。 “设置”→“隐私与安全性”→“开发者模式”→开启,然后重启。
关于 7 天的说明(免费 Apple ID) 使用免费 Apple ID 签名的应用在 7 天后将无法打开——这是 Apple 的限制,不是 OwnOwl 的问题。只需按照相同步骤重新安装即可;AltStore 可以自动为你完成。你的聊天记录和已下载的模型会保留在手机上。
打开 OwnOwl。它会要求你选择一个模型,并从 Hugging Face 下载。下载在后台运行(保持应用处于安装状态;大型模型请使用 Wi-Fi)。 准备就绪后,开始聊天。一切都在手机上离线运行。 你可以随时在“设置”→“下载或删除模型”中添加或删除模型。
隐私 你的聊天仅在你的 iPhone 上处理和存储。OwnOwl 不会将你的消息发送到任何地方。唯一的网络使用是从 Hugging Face 下载你选择的模型文件。
发现了 bug 或有想法?请提交 Issue——尤其欢迎来自你设备的测量数据(模型、手机、速度)。
OwnOwl 的应用及其设备端推理引擎为专有软件,并非开源。本仓库分发的是仅供评估的测试版本;请参阅 LICENSE.md。第三方库和 AI 模型有自己的许可证——请参阅 THIRD-PARTY-NOTICES.md。
每个测试版本都带有加密的作者签名和内置到期时间,它们是应用保护措施的一部分,并用于标识其来源。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。