
Flutter 跨平台 AI 聊天客户端支持多款 Android 与 iOS 手机本地运行 LLM
来源标题:Run local LLMs on multiple Android, iOS phones
一款用 Flutter 构建的跨平台 AI 聊天客户端,可在 Android 手机上本地运行 GGUF 模型,并支持在需要时切换到 OpenAI、Anthropic、Google Gemini 或 Kimi 等云端 API。该客户端已在 Moto G71、Oneplus 10r、Pixel 6A、Poco F1 和三星 S23 等机型上测试图像生成;首次启动时会根据设备内存自动推荐上下文大小和 token 上限。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用 Flutter 构建的生产级跨平台 AI 聊天客户端,将 Android 上的本地端侧 LLM 推理与云端 API 访问统一起来,让用户完全掌控模型的运行方式。
图像生成已在 Moto G71(Snapdragon)、Oneplus 10r(Mediatek)、Pixel 6A(Tensor)、Poco F1(Snapdragon)、Samsung s23(Snapdragon)上测试,4 步快速出图。
Android 本地推理——使用 GPU 加速推理(Vulkan)直接在手机上下载并运行 GGUF 模型,下载完成后无需联网。
云端 API 回退——当你需要更强能力或处于不受支持的平台时,可无缝切换到 OpenAI、Anthropic、Google Gemini 或 Kimi(Moonshot AI)。
多模态聊天——可在对话中发送文本和图像。视觉支持同时适用于本地模型(Qwen2-VL)和云服务提供商。
持久化会话——所有聊天和设置均通过 Hive 存储在本地。除非你明确选择云端模式,否则任何数据都不会离开你的设备。
后台服务——集成 Firebase Cloud Messaging,用于推送更新和后台任务处理。
智能自动配置——首次启动时,应用会检测设备 RAM,并自动推荐最佳上下文大小和 token 限制。
任务管理(开发中)——用于结构化、多步骤 AI 工作流的任务视图正在开发中,尚未在应用内提供。
技术架构
技术栈
框架:Flutter 3.x(Dart >=3.3.0) 状态管理:GetX 本地存储:Hive 网络:Dio + package:http 后台执行:flutter_background_service + flutter_local_notifications 推送通知:Firebase Core + Firebase Messaging
推理管线
┌─────────────────────────────────────────────────────────────┐ │ UI 层 │ │ ChatView / ModelView / ServerView / SettingsView │ └──────────────────────────┬──────────────────────────────────┘ │ ┌──────────────────────────▼──────────────────────────────────┐ │ 控制器(GetX) │ │ ChatController · TaskController · ModelController │ │ SettingsController · HomeController │ └──────────────────────────┬──────────────────────────────────┘ │ ┌──────────────────────────▼──────────────────────────────────┐ │ 服务 │ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────┐ │ │ │ InferenceService│ │ CloudService │ │DownloadSvc │ │ │ │ (本地 GGUF) │ │ (OpenAI/Claude/ │ │ (模型下载)│ │ │ │ │ │ Gemini/Kimi) │ │ │ │ │ └─────────────────┘ └─────────────────┘ └─────────────┘ │ │ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────┐ │ │ │ HiveService │ │ DeviceInfoSvc │ │ExecutionSvc │ │ │ │ (持久化) │ │ (RAM/GPU 分级)│ │ (后台任务)│ │ │ └─────────────────┘ └─────────────────┘ └─────────────┘ │ └─────────────────────────────────────────────────────────────┘
本地推理(Android)
应用使用 llama_flutter_android,这是一个自定义 Flutter 插件,封装了面向 ARM64 设备的 llama.cpp。运行时它会:
空闲检测(5 秒)和硬超时(180 秒)可确保即使在性能不足的硬件上,用户体验依然流畅。
CloudService 将四种不同的 API 形态统一为单一接口:
API 密钥存储在 Hive 中,除发送到提供商的端点外,绝不会传输到任何其他地方。
本地推理采用条件编译:
InferenceService 暴露 supportsLocalInference,以便 UI 在不支持的平台上隐藏本地模型相关界面。
平台 本地推理 云 API 说明 Android ✅ 支持 ✅ 支持 通过 NEON 进行 CPU 卸载;minSdk 28 iOS ✅ 支持 ✅ 支持 Metal GPU 加速 Web ❌ 不支持 ✅ 支持 仅云端(本地支持即将推出)
iOS / iPad(通过 AltServer 安装)
iOS/iPad 版本以可侧载的 IPA 文件形式分发。由于本地模型对 RAM 有要求,推荐以 iPad 作为 iOS 目标设备,但也可以安装到 iPhone 上。
以下是使用 AltStore 和 AltServer 安装应用的方法:
注意:通过 AltStore 侧载的应用会在 7 天后过期,但当设备与运行 AltServer 的电脑连接到同一 Wi-Fi 时,AltStore 会尝试在后台自动刷新它们。
前置条件
Flutter SDK >=3.3.0 Android SDK(API 26+) JDK 17 NDK(随 Android SDK 捆绑)
Android
flutter pub get flutter build apk --debug
发布版 APK 需要稳定的签名密钥。将 android/key.properties.example 复制为 android/key.properties,填入 keystore 相关值,并妥善保管密钥及其备份。Android 仅当 APK 使用与已安装 APK 相同的密钥签名时才接受升级。
cp android/key.properties.example android/key.properties flutter build apk --release --split-per-abi
切勿在 GitHub 发布之间轮换签名密钥。按 ABI 拆分的 APK 还必须 保持 pubspec.yaml 中的构建号递增。
flutter pub get cd ios pod install flutter build ios
Web
flutter pub get flutter build web --release
许可证
MIT——详情请参阅 LICENSE。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。