egma-ai 发布音频问答开源决策模型 homi

一个帕累托前沿的开放决策模型，能针对给定音频片段回答有明确选项的问题（灵感来自 Jev）。与只接受文本输入的 Jev、Clef 和 pplx-decider 不同，homi 接受一段音频和一个问题，并为每个选项返回一个概率。它在 VocalGrad 上优于 Gemini Flash，在 MMSU 上与 Gemini Flash 相当。该模型可用于低成本地监控和评估大规模音频。

许多关于音频的副语言和音系问题无法通过查看转录文本得到回答。该模型原生接受音频并回答这些问题，例如“说话人的感受如何？”选项为 angry / happy / sad / fear / disgust。

它是 Qwen3-Omni-30B-A3B-Instruct，权重冻结，用一个决策头替代语言模型头，17M 参数的 LoRA，以及一个校准温度。它不生成文本。

权重：egma-ai/homi。该仓库包含运行它、评估它、重建其训练数据和训练它的代码。

和 Jev 一样，有三种问题类型：

每个模型使用相同的音频、问题和选项。未作答计为错误。我们的成本是单张 H200 上的 GPU 时间（$4.54/小时，批处理）；API 成本按标价报告的 token 计算（Gemini 3.8 Flash 按其促销价）。

VocalGrad（7,200 个问题：音高、速度或音量在片段内是升还是降？随机猜测为 50%。）

gpt-audio 未回答 13% 的 MMSU 和 34% 的 VocalGrad 问题（它拒绝回答或要求我们“播放音频”）；在它确实回答的问题上，得分为 69.5 和 51.2。原始答案和分任务表格：eval/results/。

校准（置信度是否与准确率匹配？）。“Sure”指置信度至少为 0.9。

Gemini 和 OpenAI 的概率是模型在其答案中报告的概率。gpt-audio 仅在其回答的问题上计分。在 VocalGrad 上，homi 是唯一一个 Brier 分数优于均匀猜测的模型，但它过度自信：其最有把握的答案（平均 98%）有 85% 的正确率。完整表格：eval/results/CALIBRATION.md。

训练数据中没有 MMSU 的音频或文本，也没有 MMSU 构建其音频所依据的数据集。

弱点：计数不同的说话人（它通常少答一个）、多人长时间对话、押韵对句、从停顿进行推理。

文件夹 内容 inference/ predict.py（AudioDecider 和一个 CLI）、决策头、提示和答案代码辅助工具 eval/ 基准准备、我们模型、Gemini 和 OpenAI 的运行器、评分脚本、results/ training/ 数据加载与混合、训练循环、温度拟合（Modal） data/ 每个训练数据构建器一个文件夹，以及 DATA.md，包含每个来源和许可证

数据构建、训练和评估在 Modal 上运行，使用一个 Volume（homi，挂载在 /vol）。

你需要一块约有 70 GB 空闲显存的 GPU（bf16）。

pip install torch==2.14.1 transformers==5.18.0 peft==0.21.2 accelerate==1.15.0 safetensors==0.8.0
soundfile==0.14.0 scipy==1.18.1 numpy==2.5.3 huggingface_hub hf download egma-ai/homi --local-dir homi python homi/predict.py clip.wav import sys; sys.path.insert(0, "homi") from predict import AudioDecider decider = AudioDecider("homi") decider.ask("clip.wav", { "angry": {"type": "noul