返回资讯中心
外部精选
软件工程
#开发者实时流

Peter Marelas 发布 Drama Studio,在 Apple Silicon 本地运行 Fish Audio 语音模型

来源标题:Drama Studio: local realistic text-to-speech synthesis engine for Apple Silicon

Peter Marelas 推出原生 macOS 应用 Drama Studio,可在 Apple Silicon 上本地运行 Fish Audio 的 Drama 3 文本转语音模型,运行时不用 MLX 和 PyTorch。该模型含 35B 混合专家主干与 codebook tower,用自写 Metal 内核读取 safetensors 权重,音频编解码由 Core ML 运行。模型约需 49GB 磁盘空间,官方建议 64GB 以上统一内存;16GB 的 M1 Mac Mini 测试时两次出现 GPU 显存不足。

Hacker News 最新maralski2026/11/3 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Peter Marelas 撰文。这是一款原生 macOS 应用,在 Apple Silicon 上本地运行 Fish Audio 的 Drama 3 文本转语音模型。35B 混合专家主干网络和 codebook tower 运行在手写的 Metal 计算内核上,直接就地读取已发布的 safetensors 权重。DAC 音频编解码器通过 Core ML 运行。运行时不使用 MLX,也不使用 PyTorch。

与 Fish Audio 合作构建。模型权重采用 Fish Audio Community License 授权;未经本人同意克隆真实人物的声音是不被允许的。

Drama-Studio-Promo-10MB.mp4

安装

系统要求

Apple Silicon Mac。带校验的生成需要 macOS 26 或更高版本,并已安装对应脚本语言的设备端语音模型。未勾选校验的预览版支持 macOS 15。引擎不支持 Intel Mac。

需要约 49 GB 可用磁盘空间,用于模型、编解码器和安装缓存。生成的音频、保存的项目和应用更新还需要更多空间。

建议使用 64 GB 或更大的统一内存。这并不是经过验证的最低要求。生成已在配备 128 GB 内存的 M3 Max 上测试过。配备 16 GB 内存的 M1 Mac Mini 在生成音频前两次因 GPU 内存不足而失败,尽管启用了分页。参见硬件测试。

32 GB 和 64 GB 的 Mac 尚未测试。引擎会映射约 41 GB 的模型权重。

显示器需能容纳 900 x 640 点的工作室窗口。

首次下载和更新检查需要互联网连接。安装完成后,语音生成在本地运行。

安装时的内存覆盖选项仅用于测试该警告。它不会模拟低内存 Mac,也不能证明生成能在低内存机器上运行。

从最新 release 下载 DramaStudio-<version>.dmg。

打开磁盘映像,将 Drama Studio 拖入 Applications。

该 release 未经过公证,因此 macOS 会阻止首次打开。打开系统设置,进入“隐私与安全性”,滚动到“安全性”,点击 Drama Studio 相关提示旁的“仍要打开”。输入密码确认。如果你使用终端,也可以改为运行 xattr -dr com.apple.quarantine /Applications/DramaStudio.app。

阅读安装窗口中的许可条款,点击“I Agree”。Fish Audio 依据 Fish Audio Community License 授权该模型,在你同意之前,Drama Studio 不会生成任何内容。

等待下载完成。窗口会显示每个文件的进度、总进度和剩余时间:

你可以暂停,或退出后重新打开应用。下载会从停止处继续。每个文件在保留前都会与随应用一同提供的 SHA-256 值进行校验。

首次加载会为你的 Mac 调优 GPU 内核,请等待 30 秒到一分钟。

如果你已经用 hf download fishaudio/drama-3 下载了模型,Drama Studio 会使用该副本,跳过 41.5 GB 的下载。如果你的内存低于 64 GB,安装窗口会在下载任何内容之前提示这一点。你可以自行承担风险继续。

使用工具栏或“Script”菜单中的 Clear Script 清空编辑器。对于导入的文档,Clear Section 仅清空所选部分。已有的 take 仍会保留,但文本变更后可能需要重新生成。使用 Edit > Undo 恢复已清空的文本。生成过程中清空功能被禁用。

剧本模式要求对话前带有说话者名称、一个冒号和一个空格:

Alex: Hello there. Sam: Good morning.

没有名称的行会延续上一个说话者。第一个具名说话者之前的文本属于 Narrator。最多支持 16 个说话者。如果脚本中没有具名对话,请关闭剧本模式以进行纯旁白,或使用错误提示旁的帮助按钮查看格式和示例。

Drama Studio 会在启动时检查 GitHub 上是否有更新的稳定版 release,并在后台下载。自动检查和下载默认开启。可在 Settings > Updates 中关闭,或随时使用 Drama Studio > Check for Updates 手动检查。

下载校验完成后,Settings > Updates 会提供“Install and Restart”。确认前请保存项目并完成生成或 API 请求。“Later” 会使正在运行的应用保持不变;准备好后,在 Settings > Updates 中点击 Review Update。“Check for Updates” 会打开同一个标签页。没有单独的“软件更新”窗口。正常退出不会安装更新。被推迟的更新会在下次自动或手动检查时重新下载。

更新要求应用安装在你有写入权限的文件夹中,例如 Applications 或用户的 Applications 文件夹。从挂载的 DMG、App Translocation 或 Swift 构建目录运行的应用无法自我更新。

更新器仅更改应用包;模型、声音和项目保持不变。它使用该 release 的 DramaStudio-<version>.dmg 和 SHA256SUMS,检查包标识、版本和最低 macOS 要求,验证其代码签名,并对 Developer ID 构建要求相同的签名身份。Ad-hoc 构建则依赖 GitHub HTTPS 和已发布的校验和来保证真实性。

重启后,安装程序会将已安装编解码器记录的归档 SHA-256 与更新后应用中随附的摘要进行比较。即使 release URL 发生变化,匹配的编解码器也会被复用。摘要变化或编解码器模型缺失会触发经过校验的下载和安装。没有记录摘要的旧安装需要一次经过校验的下载来建立摘要。

脚本编辑器支持导入 .txt、.md、.rtf、.rtfd、.html、.docx、.srt 和 .vtt,支持拖放,以及一种剧本模式,可将“Name: line”格式的对话转换为 Drama 3 说话者标签(最多 16 个说话者)。

Takes:每次点击 Generate 或 Generate All 都会生成一个新的 take。滚动网格显示 take 时长、备注、导出选项和过时音频。

其他控件包括 Advanced 下的 Expressiveness 滑块(一个控件同时控制 temperature、top-p 和 top-k,中间为厂商默认值,顶部为 Hugging Face Space 的采样设置),以及用于插入 [laughs]、[sighs] 和 <whisper>…</whisper> 等表演提示的插入菜单。每个分块的帧上限跟随其文本长度。

正常生成会用本地的、仅音频的语音来检查每个解码后的句子

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →