Coco Labs 在 GitHub 开源 VybBench 图像模型评测基准

VybBench 现已登陆 GitHub

差不多还不够好。VybBench 通过比较模型生成特定字体和颜色的效果，以及执行非破坏性编辑的能力，来衡量模型维持设计保真度的水平。 我们的数据集包含 145 种字体、100 种颜色和 200 项编辑任务。我们让每个模型对每项任务执行三次，并分别对每次生成结果打分。 我们对比了顶尖的图像生成模型： ChatGPT Image（gpt-image-2.5-sunburst）、Meta Muse 和 Recraft v4.1。我们还报告了 Vyb 1.0 的结果。 完整披露：VybBench 由 Coco Labs 构建，该公司也是 Vyb 的开发方。完整 方法论和依据见 发布文章。 本仓库包含用于对任意模型打分的代码。提示词和我们各次运行的结果可在 HuggingFace Dataset 中获取： (https://huggingface.co/datasets/cocolabs/vybbench)。它们会自动下载。 pip install -e . vybbench score 添加你的模型 我们让你可以轻松测试任意模型，只需执行以下操作： from vybbench.model import Model, Start class MyModel(Model): name = "mymodel" def generate(self, prompt: str, width: int, height: int) -> bytes: ... def edit(self, instruction: str, start: Start) -> bytes: ... vybbench run --model mypkg.mymodel:MyModel vybbench judge vybbench score 我们的评判和打分基于返回的 PNG。Start 同时包含起始 png 和起始 svg。请根据你的模型选择更合适的那个。 我们很乐意收录你的模型。请创建一个 issue 并附上模型代码。