返回资讯中心
外部精选
软件工程
#社区热议

SketchAgentBench 发布:用 3D 空间推理任务评测大模型

来源标题:SketchAgentBench – evaluate LLMs on 3D spatial reasoning

研究者提出 SketchAgentBench,用一批 3D 空间推理任务评测大语言模型。该基准以美元成本、运行时长和 token 数作为横轴,展示前沿模型与其它模型在同等资源下的表现对比。

Hacker Newswsxiaoys2026/11/6 · 11 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Replay const XS = { usd: { label: '成本', get: m => m.usd, fmt: v => fmt.usd(v), ticks: [0.2, 0.5, 1, 2, 5], axis: ${tasks.length} 张照片的总成本, resource: '金钱', unit: '价格' }, secs: { label: '时间', get: m => m.secs, fmt: v => fmt.secs(v), ticks: [300, 600, 1200, 2400], tick: v => ${v / 60}m, axis: '记录的总运行时间', resource: '时间', unit: '时间' }, tokens: { label: 'Token 数', get: m => m.tokens, fmt: v => fmt.tok(v), ticks: [5e5, 1e6, 2e6, 5e6, 1e7], tick: v => fmt.tok(v), axis: '总 token 数', resource: 'token', unit: 'token' }, function moneyLegend() { const X = XS[charts.x] return 前沿模型其他模型:使用不超过 ${X.resource} 即匹配或超越曲线与阴影:视觉引导,非预测 // 在绘图坐标(对数资源轴)上进行单调三次 Hermite 插值。Fritsch–Carlson // 限制器可防止过冲,即使相邻前沿增益的斜率差异很大。 // 水平末端切线平滑地连接到现有的右侧尾部。只有一个点时只需尾部。 function frontierCurve(points, right) { const slopes = points.slice(1).map((p, i) => (p.y - points[i].y) / (p.x - points[i].x)) const tangents = points.map((p, i) => i === 0 ? (slopes[0] ?? 0) : i === points.length - 1 ? 0 : (slopes[i - 1] + slopes[i]) / 2) slopes.forEach((s, i) => { if (!s) { tangents[i] = tangents[i + 1] = 0; return } const norm = Math.hypot(tangents[i] / s, tangents[i + 1] / s) if (norm > 3) { const scale = 3 / norm; tangents[i] *= scale; tangents[i + 1] *= scale } }) let d = M${points[0].x} ${points[0].y} const segments = points.slice(1).map((b, i) => { const a = points[i], dx = b.x - a.x const c1 = { x: a.x + dx / 3, y: a.y + tangents[i] * dx / 3 } const c2 = { x: b.x - dx / 3, y: b.y - tangents[i + 1] * dx / 3 } d += C${c1.x} ${c1.y} ${c2.x} ${c2.y} ${b.x} ${b.y} const at = (t) => { const u = 1 - t return { x: a.x + t * dx, y: u ** 3 * a.y + 3 * u ** 2 * t * c1.y + 3 * u * t ** 2 * c2.y + t ** 3 * b.y } return { a, b, at } }) return { d: ${d} H${right}, segments } const moneyDescription = (key) => 蓝色圆环突出显示最佳的 Elo–${XS[key].label.toLowerCase()} 权衡(帕累托前沿)。注释比较前沿上相邻的模型。 const moneyAria = (key) => Elo 对 ${XS[key].axis}。${moneyDescription(key)} // 性价比评分:一条穿过前沿的平滑视觉引导线,带有相同的基线填充和尾部。 // 增益/资源注释位于曲线旁边或上方;贪心名称放置避开徽章和曲线采样段。 // 仅返回位置;drawScatter/morphScatter 将其转换为 SVG。 function moneyLayout(W, key) { const X = XS[key], narrow = W P.l + (Math.log10(v) - lo) / (hi - lo) * (W - P.l - P.r) const sy = (v) => H - P.b - (v - ELO_LO) / (ELO_HI - ELO_LO) * (H - P.t - P.b) const r1 = (v) => Math.round(v * 10) / 10 const R = narrow ? 8.5 : W X.get(a) - X.get(b) || eloOf(b) - eloOf(a)), front = [] for (const m of byX) if (!front.length || eloOf(m) > eloOf(front.at(-1)) + 1e-9) front.push(m) const onFront = new Set(front.map(m => m.label)) // 此处保持完整精度:舍入可能导致非常接近但不同的资源成本合并到相同的 x 值。 const pt = Object.fromEntries(models.map(m => [m.label, { x: sx(X.get(m)), y: sy(eloOf(m)), r: onFront.has(m.label) ? R : R - 2, front: onFront.has(m.label) }])) const curve = frontierCurve(front.map(m => pt[m.label]), W - P.r), d = curve.d const area = ${d} V${H - P.b} H${pt[front[0].label].x} Z // 障碍物跟随实际三次曲线,以短的单调段表示,并留出 3px 间隙。 // 单调性确保每个采样对构成的矩形包围整个中间曲线,而不仅仅是其弦。 const boxes = models.map(m => { const p = pt[m.label]; return { x0: p.x - p.r - 3, x1: p.x + p.r + 3, y0: p.y - p.r - 3, y1: p.y + p.r + 3 } }) for (const seg of curve.segments) { const n = Math.max(1, Math.ceil((seg.b.x - seg.a.x + Math.abs(seg.b.y - seg.a.y)) / 6)) let a = seg.a for (let i = 1; i q.x0 W - 2 || q.y0 H - P.b - 2 || boxes.some(o => !(overLine && lineBoxes.has(o)) && q.x0 o.x0 && q.y0 o.y0) const cw = narrow ? 5.3 : 6.6 // 注释比较实际相邻模型,而非插值评分。在每个三次曲线上尝试点上方和旁边; // 陡峭段需要更大的侧向偏移。拥挤的注释宁可省略也不与曲线重叠。 const gains = [] const placeGains = () => { for (let k = 1; k !hit(s.q)) if (s) { boxes.push(s.q); gains.push({ x: r1(s.x), y: r1(s.y), a: s.a, t, sub }) } } } // 名称:前沿模型优先放置在徽章上方;其余优先放在侧面;然后对拥挤位置使用更宽的环。 const labels = {} const placeLabels = () => { const order = [...models].sort((a, b) => (onFront.has(b.label) - onFront.has(a.label)) || eloOf(b) - eloOf(a)) for (const m of order) { const p = pt[m.label], w = m.label.length * (p.front ? cw * 1.05 : cw), g = p.r + 6 const right = { x: p.x + g, y: p.y, a: 'start', q: { x0: p.x + g - 2, x1: p.x + g + w, y0: p.y - 8, y1: p.y + 8 } } const left = { x: p.x - g, y: p.y, a: 'end', q: { x0: p.x - g - w, x1: p.x - g + 2, y0: p.y - 8, y1: p.y + 8 } } const above = { x: p.x, y: p.y - p.r - 13, a: 'middle', q: { x0: p.x - w / 2, x1: p.x + w / 2, y0: p.y - p.r - 21, y1: p.y - p.r - 5 } } const below = { x: p.x, y: p.y + p.r + 13, a: 'middle', q: { x0: p.x - w / 2, x1: p.x + w / 2, y0: p.y + p.r + 5, y1: p.y + p.r + 21 } } const belowRight = { x: p.x + p.r + 2, y: p.y + p.r + 8, a: 'start', q: { x0: p.x + p.r, x1: p.x + p.r + 4 + w, y0: p.y + p.r, y1: p.y + p.r + 16 } } const aboveLeft = { x: p.x - p.r - 2, y: p.y - p.r - 8, a: 'end', q: { x0: p.x - p.r - 4 - w, x1: p.x - p.r, y0: p.y - p.r - 16, y1: p.y - p.r } } const diag = [{ x: p.x + g, y: p.y - g, a: 'start', q: { x0: p.x + g - 1, x1: p.x + g + w, y0: p.y - g - 11, y1: p.y - g + 3 } }, { x: p.x - g, y: p.y - g, a: 'end', q: { x0: p.x - g - w, x1: p.x - g + 1, y0: p.y - g - 11, y1: p.y - g + 3 } },

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →