研究者推出ZeroBench视觉基准，含100道高难度题目

为了解决现有视觉基准的局限，并与上述需求相契合，我们推出了 ZeroBench。ZeroBench 包含 100 个极具挑战性的问题，这些问题由一组设计师专门精心挑选，并经过了广泛评审。因此，ZeroBench 具有以下特点： （1）具有挑战性，（2）轻量级，（3）多样性，（4）高质量。 注意：为降低因记忆导致数据污染的可能性，我们不提供下方示例问题的答案。 问题：图中展示了一盘标准国际象棋对局进行到中途时的局面。在最后一步（第 45 步）中，黑方移动了一个兵。棋盘上所示局面的 FEN 是什么？ 问题：计算以下数值并回答问题：A. 最长的不活跃天数连续段。B. 按连续天数计算的 longest 贡献连续段。C. 按连续天数计算的第二长贡献连续段。D. 未做出贡献的总天数。A、B、C 和 D 的乘积是多少？ 问题：在 8 方位罗盘上，有多大比例的鹅的身体朝向南方？答案保留一位小数。 问题：读出粉色箭头所指的纸币。然后，读出绿色箭头所指的纸币。按该顺序返回这两张纸币，中间不加空格或逗号。 问题：（1）我坐在倒数第二排椅子上。每排椅子的数量完全相同。右侧隔着一条过道，还有另一组椅子。我所坐的这一组椅子总共有多少把？（2）字母“e”在这张图片的文字中出现了多少次？（3）会议持续多少天？（1）、（2）和（3）答案的乘积是多少？ 问题：（1）英国牛津正值傍晚。这座钟的建造方式使其与物体在使用时的朝向对齐。精确到整数，多少小时前是正午？（2）这座钟是用一位学院男子八人艇桨手拥有的装备建造的。他的船员采用标准桨位配置划船。他可能坐过的座号之和是多少？（3）假设改为根据图像中时钟的朝向来读取时间。如果时钟指针先水平反射一次，再垂直反射一次，然后顺时针旋转 90°。时针最接近哪个整数？前 3 个答案的乘积是多少？ 问题：图中有一个静止的笔筒（里面装着不同的笔和一把拆信刀）以及其他物品。考虑：（1）图中可见物种的典型腿数（2）笔的总数（3）暴露且可见的笔尖总数。（1）、（2）和（3）的乘积是多少？ 问题：假设这些雪花是圆形的（即忽略扭曲的边缘），直径由红线标出。给定图像左下角的比例尺，并且如果每片雪花的厚度为 2 mm，那么所有雪花的总体积是多少 mm^3，保留 3 位有效数字？计算直径长度时，可以四舍五入到最接近的 mm。 问题：回答那个写在星星形状中、混杂在一堆字母里的问题。 问题：图中展示了波斯语书法，有些字母用箭头标出。如果我们将这些字母组合起来，翻译成英文后的信息会是什么？请按以下颜色顺序使用：红色、橙色、黄色、蓝色和白色。 问题：几名玩家从“Start”进入迷宫，每个人在图中用一个彩色形状表示。他们的目标是到达迷宫的“End”点。最短路径是从“Start”到“End”的直达路线，所需步数最少，且不 backtracking（避免任何环路或死胡同）。那么，（a）位于最短路径上的每个形状的边数之积，与（b）不在最短路径上的每个形状的边数之积，二者之比是多少？ 问题：计算（1）含纸张的写字板所占比例与（2）含灯具的天花板瓷砖所占比例（包括部分可见的瓷砖）的平均值；将这个数字乘以暖气片上的水平面板数量。答案保留 2 位小数。 问题：你正试图破解一个保险箱，需要一组 6 位密码。你发现了以下线索以及保险箱主人留下的物品。完整密码是什么？ 问题：图中展示了我收集的钢笔、铅笔和马克笔。（1）没有笔帽或笔盖的占多大比例？答案保留 2 位小数。（2）估计圆珠笔的数量。计算你对（1）和（2）答案的乘积。 为了区分模型表现，ZeroBench 还包含 334 个子问题，分别对应回答每个主问题所需的各个推理步骤。这些子问题本质上更容易。每个问题平均有 3.4 个子问题。 注意：为降低因记忆导致数据污染的可能性，我们不提供下方示例问题的答案。 问题：仔细看这张图片。我想把菜单上的每样东西都点一份，但只能从这个视角看到菜单。忽略任何优惠，把菜单上每样东西各点一份的总费用是多少？答案用 HKD 表示。 子问题 1：菜单上有多少样东西？ 子问题 2：第 1 样东西的价格是多少 HKD？ 子问题 3：第 23 样东西的价格是多少 HKD？ 子问题 4：第 22 样东西的价格是多少 HKD？ 子问题 5：每列有多少样东西？ 问题：（i）首先，数出我正前方架子上哑铃的总数。（ii）其次，计算该架子上重量在 5 到 15 磅（含）之间的哑铃总重量，单位为磅。（iii）第三，数出壶铃的总数。（iv）第四，计算壶铃的总重量，单位为磅。计算（i）、（ii）、（iii）和（iv）答案之和。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）