返回资讯中心
外部精选
软件工程
#开发者实时流

SketchAgentBench 发布,用于评估大模型的三维空间推理能力

来源标题:SketchAgentBench – evaluate LLMs on 3D spatial reasoning

研究团队推出 SketchAgentBench,一个专门评估大语言模型三维空间推理能力的基准测试。该基准从成本、时间和 Token 消耗三个维度记录模型表现,并用前沿模型曲线对比其他模型是否以更少资源达到或超越同等水平。

Hacker News 最新wsxiaoys2026/11/6 · 11 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

重播const XS = { usd: { label: '成本', get: m => m.usd, fmt: v => fmt.usd(v), ticks: [0.2, 0.5, 1, 2, 5], axis:${tasks.length} 张照片的总成本, resource: 'money', unit: '价格' }, secs: { label: '时间', get: m => m.secs, fmt: v => fmt.secs(v), ticks: [300, 600, 1200, 2400], tick: v => ${v / 60}m, axis: '记录的总运行时长', resource: 'time', unit: '时间' }, tokens: { label: 'Token', get: m => m.tokens, fmt: v => fmt.tok(v), ticks: [5e5, 1e6, 2e6, 5e6, 1e7], tick: v => fmt.tok(v), axis: '总 token 数', resource: 'tokens', unit: 'token' }, function moneyLegend() { const X = XS[charts.x] return 前沿模型其他模型:在不超过此${X.resource}的情况下追平或超越曲线与阴影:视觉引导,并非预测// 在绘图坐标(对数资源)中进行单调三次 Hermite 插值。Fritsch–Carlson // 限制器可防止过冲,即使相邻前沿增益的斜率差异很大。 // 水平末端切线平滑地连接到现有的右侧尾部。一个点只需尾部。 function frontierCurve(points, right) { const slopes = points.slice(1).map((p, i) => (p.y - points[i].y) / (p.x - points[i].x)) const tangents = points.map((p, i) => i === 0 ? (slopes[0] ?? 0) : i === points.length - 1 ? 0 : (slopes[i - 1] + slopes[i]) / 2) slopes.forEach((s, i) => { if (!s) { tangents[i] = tangents[i + 1] = 0; return } const norm = Math.hypot(tangents[i] / s, tangents[i + 1] / s) if (norm > 3) { const scale = 3 / norm; tangents[i] *= scale; tangents[i + 1] *= scale } }) let d =M${points[0].x} ${points[0].y} const segments = points.slice(1).map((b, i) => { const a = points[i], dx = b.x - a.x const c1 = { x: a.x + dx / 3, y: a.y + tangents[i] * dx / 3 } const c2 = { x: b.x - dx / 3, y: b.y - tangents[i + 1] * dx / 3 } d += C${c1.x} ${c1.y} ${c2.x} ${c2.y} ${b.x} ${b.y} const at = (t) => { const u = 1 - t return { x: a.x + t * dx, y: u ** 3 * a.y + 3 * u ** 2 * t * c1.y + 3 * u * t ** 2 * c2.y + t ** 3 * b.y } return { a, b, at } }) return { d:${d} H${right}, segments } const moneyDescription = (key) => 蓝色圆环突出显示最佳的 Elo–${XS[key].label.toLowerCase()} 权衡(帕累托前沿)。注释比较前沿上的相邻模型。const moneyAria = (key) =>Elo 对 ${XS[key].axis}。${moneyDescription(key)}// 性价比评分:一条穿过前沿的平滑视觉引导线,具有相同的基线填充和尾部。 // 增益/资源注释位于曲线旁边或上方;贪心名称定位避免徽章和采样的曲线段。 // 仅返回位置;drawScatter/morphScatter 将其转换为 SVG。 function moneyLayout(W, key) { const X = XS[key], narrow = W P.l + (Math.log10(v) - lo) / (hi - lo) * (W - P.l - P.r) const sy = (v) => H - P.b - (v - ELO_LO) / (ELO_HI - ELO_LO) * (H - P.t - P.b) const r1 = (v) => Math.round(v * 10) / 10 const R = narrow ? 8.5 : W X.get(a) - X.get(b) || eloOf(b) - eloOf(a)), front = [] for (const m of byX) if (!front.length || eloOf(m) > eloOf(front.at(-1)) + 1e-9) front.push(m) const onFront = new Set(front.map(m => m.label)) // 此处保留完整精度:舍入可能将非常接近但不同的资源成本折叠到同一个 x。 const pt = Object.fromEntries(models.map(m => [m.label, { x: sx(X.get(m)), y: sy(eloOf(m)), r: onFront.has(m.label) ? R : R - 2, front: onFront.has(m.label) }])) const curve = frontierCurve(front.map(m => pt[m.label]), W - P.r), d = curve.d const area =${d} V${H - P.b} H${pt[front[0].label].x} Z` // 障碍物跟随实际的三次曲线,以短单调段表示,并留有 3px 的间隙。 // 单调性使得每个采样点对的矩形包围整个中间曲线,而不仅仅是其弦。 const boxes = models.map(m => { const p = pt[m.label]; return { x0: p.x - p.r - 3, x1: p.x + p.r + 3, y0: p.y - p.r - 3, y1: p.y + p.r + 3 } }) for (const seg of curve.segments) { const n = Math.max(1, Math.ceil((seg.b.x - seg.a.x + Math.abs(seg.b.y - seg.a.y)) / 6)) let a = seg.a for (let i = 1; i q.x0 W - 2 || q.y0 H - P.b - 2 || boxes.some(o => !(overLine && lineBoxes.has(o)) && q.x0 o.x0 && q.y0 o.y0) const cw = narrow ? 5.3 : 6.6 // 注释比较实际相邻模型,而非插值分数。在每条三次曲线上尝试点的上方和旁边; // 陡峭部分需要更大的侧向偏移。宁可省略拥挤的注释,也不要与曲线重叠。 const gains = [] const placeGains = () => { for (let k = 1; k !hit(s.q)) if (s) { boxes.push(s.q); gains.push({ x: r1(s.x), y: r1(s.y), a: s.a, t, sub }) } } } // 名称:前沿模型优先放在徽章上方;其他模型优先放在侧面;然后为拥挤位置使用更宽的环。 const labels = {} const placeLabels = () => { const order = [...models].sort((a, b) => (onFront.has(b.label) - onFront.has(a.label)) || eloOf(b) - eloOf(a)) for (const m of order) { const p = pt[m.label], w = m.label.length * (p.front ? cw * 1.05 : cw), g = p.r + 6 const right = { x: p.x + g, y: p.y, a: 'start', q: { x0: p.x + g - 2, x1: p.x + g + w, y0: p.y - 8, y1: p.y + 8 } } const left = { x: p.x - g, y: p.y, a: 'end', q: { x0: p.x - g - w, x1: p.x - g + 2, y0: p.y - 8, y1: p.y + 8 } } const above = { x: p.x, y: p.y - p.r - 13, a: 'middle', q: { x0: p.x - w / 2, x1: p.x + w / 2, y0: p.y - p.r - 21, y1: p.y - p.r - 5 } } const below = { x: p.x, y: p.y + p.r + 13, a: 'middle', q: { x0: p.x - w / 2, x1: p.x + w / 2, y0: p.y + p.r + 5, y1: p.y + p.r + 21 } } const belowRight = { x: p.x + p.r + 2, y: p.y + p.r + 8, a: 'start', q: { x0: p.x + p.r, x1: p.x + p.r + 4 + w, y0: p.y + p.r, y1: p.y + p.r + 16 } } const aboveLeft = { x: p.x - p.r - 2, y: p.y - p.r - 8, a: 'end', q: { x0: p.x - p.r - 4 - w, x1: p.x - p.r, y0: p.y - p.r - 16, y1: p.y - p.r } } const diag = [{ x: p.x + g, y: p.y - g, a: 'start', q: { x0: p.x + g - 1, x1: p.x + g + w, y0: p.y - g - 11, y1: p.y - g + 3 } }, { x: p.x - g, y: p.y - g, a: 'end', q: { x0: p.x - g - w, x1: p.x - g + 1, y0: p.y - g - 11, y1: p.y - g + 3 } },

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →