SketchAgentBench 发布:用 3D 空间推理任务评测大模型
来源标题:SketchAgentBench – evaluate LLMs on 3D spatial reasoning
研究者提出 SketchAgentBench,用一批 3D 空间推理任务评测大语言模型。该基准以美元成本、运行时长和 token 数作为横轴,展示前沿模型与其它模型在同等资源下的表现对比。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Replay
const XS = {
usd: { label: '成本', get: m => m.usd, fmt: v => fmt.usd(v), ticks: [0.2, 0.5, 1, 2, 5], axis: ${tasks.length} 张照片的总成本, resource: '金钱', unit: '价格' },
secs: { label: '时间', get: m => m.secs, fmt: v => fmt.secs(v), ticks: [300, 600, 1200, 2400], tick: v => ${v / 60}m, axis: '记录的总运行时间', resource: '时间', unit: '时间' },
tokens: { label: 'Token 数', get: m => m.tokens, fmt: v => fmt.tok(v), ticks: [5e5, 1e6, 2e6, 5e6, 1e7], tick: v => fmt.tok(v), axis: '总 token 数', resource: 'token', unit: 'token' },
function moneyLegend() {
const X = XS[charts.x]
return 前沿模型其他模型:使用不超过 ${X.resource} 即匹配或超越曲线与阴影:视觉引导,非预测
// 在绘图坐标(对数资源轴)上进行单调三次 Hermite 插值。Fritsch–Carlson
// 限制器可防止过冲,即使相邻前沿增益的斜率差异很大。
// 水平末端切线平滑地连接到现有的右侧尾部。只有一个点时只需尾部。
function frontierCurve(points, right) {
const slopes = points.slice(1).map((p, i) => (p.y - points[i].y) / (p.x - points[i].x))
const tangents = points.map((p, i) => i === 0 ? (slopes[0] ?? 0) : i === points.length - 1 ? 0 : (slopes[i - 1] + slopes[i]) / 2)
slopes.forEach((s, i) => {
if (!s) { tangents[i] = tangents[i + 1] = 0; return }
const norm = Math.hypot(tangents[i] / s, tangents[i + 1] / s)
if (norm > 3) { const scale = 3 / norm; tangents[i] *= scale; tangents[i + 1] *= scale }
})
let d = M${points[0].x} ${points[0].y}
const segments = points.slice(1).map((b, i) => {
const a = points[i], dx = b.x - a.x
const c1 = { x: a.x + dx / 3, y: a.y + tangents[i] * dx / 3 }
const c2 = { x: b.x - dx / 3, y: b.y - tangents[i + 1] * dx / 3 }
d += C${c1.x} ${c1.y} ${c2.x} ${c2.y} ${b.x} ${b.y}
const at = (t) => {
const u = 1 - t
return { x: a.x + t * dx, y: u ** 3 * a.y + 3 * u ** 2 * t * c1.y + 3 * u * t ** 2 * c2.y + t ** 3 * b.y }
return { a, b, at }
})
return { d: ${d} H${right}, segments }
const moneyDescription = (key) => 蓝色圆环突出显示最佳的 Elo–${XS[key].label.toLowerCase()} 权衡(帕累托前沿)。注释比较前沿上相邻的模型。
const moneyAria = (key) => Elo 对 ${XS[key].axis}。${moneyDescription(key)}
// 性价比评分:一条穿过前沿的平滑视觉引导线,带有相同的基线填充和尾部。
// 增益/资源注释位于曲线旁边或上方;贪心名称放置避开徽章和曲线采样段。
// 仅返回位置;drawScatter/morphScatter 将其转换为 SVG。
function moneyLayout(W, key) {
const X = XS[key], narrow = W P.l + (Math.log10(v) - lo) / (hi - lo) * (W - P.l - P.r)
const sy = (v) => H - P.b - (v - ELO_LO) / (ELO_HI - ELO_LO) * (H - P.t - P.b)
const r1 = (v) => Math.round(v * 10) / 10
const R = narrow ? 8.5 : W X.get(a) - X.get(b) || eloOf(b) - eloOf(a)), front = []
for (const m of byX) if (!front.length || eloOf(m) > eloOf(front.at(-1)) + 1e-9) front.push(m)
const onFront = new Set(front.map(m => m.label))
// 此处保持完整精度:舍入可能导致非常接近但不同的资源成本合并到相同的 x 值。
const pt = Object.fromEntries(models.map(m => [m.label, { x: sx(X.get(m)), y: sy(eloOf(m)), r: onFront.has(m.label) ? R : R - 2, front: onFront.has(m.label) }]))
const curve = frontierCurve(front.map(m => pt[m.label]), W - P.r), d = curve.d
const area = ${d} V${H - P.b} H${pt[front[0].label].x} Z
// 障碍物跟随实际三次曲线,以短的单调段表示,并留出 3px 间隙。
// 单调性确保每个采样对构成的矩形包围整个中间曲线,而不仅仅是其弦。
const boxes = models.map(m => { const p = pt[m.label]; return { x0: p.x - p.r - 3, x1: p.x + p.r + 3, y0: p.y - p.r - 3, y1: p.y + p.r + 3 } })
for (const seg of curve.segments) {
const n = Math.max(1, Math.ceil((seg.b.x - seg.a.x + Math.abs(seg.b.y - seg.a.y)) / 6))
let a = seg.a
for (let i = 1; i q.x0 W - 2 || q.y0 H - P.b - 2 ||
boxes.some(o => !(overLine && lineBoxes.has(o)) && q.x0 o.x0 && q.y0 o.y0)
const cw = narrow ? 5.3 : 6.6
// 注释比较实际相邻模型,而非插值评分。在每个三次曲线上尝试点上方和旁边;
// 陡峭段需要更大的侧向偏移。拥挤的注释宁可省略也不与曲线重叠。
const gains = []
const placeGains = () => { for (let k = 1; k !hit(s.q))
if (s) { boxes.push(s.q); gains.push({ x: r1(s.x), y: r1(s.y), a: s.a, t, sub }) }
} }
// 名称:前沿模型优先放置在徽章上方;其余优先放在侧面;然后对拥挤位置使用更宽的环。
const labels = {}
const placeLabels = () => {
const order = [...models].sort((a, b) => (onFront.has(b.label) - onFront.has(a.label)) || eloOf(b) - eloOf(a))
for (const m of order) {
const p = pt[m.label], w = m.label.length * (p.front ? cw * 1.05 : cw), g = p.r + 6
const right = { x: p.x + g, y: p.y, a: 'start', q: { x0: p.x + g - 2, x1: p.x + g + w, y0: p.y - 8, y1: p.y + 8 } }
const left = { x: p.x - g, y: p.y, a: 'end', q: { x0: p.x - g - w, x1: p.x - g + 2, y0: p.y - 8, y1: p.y + 8 } }
const above = { x: p.x, y: p.y - p.r - 13, a: 'middle', q: { x0: p.x - w / 2, x1: p.x + w / 2, y0: p.y - p.r - 21, y1: p.y - p.r - 5 } }
const below = { x: p.x, y: p.y + p.r + 13, a: 'middle', q: { x0: p.x - w / 2, x1: p.x + w / 2, y0: p.y + p.r + 5, y1: p.y + p.r + 21 } }
const belowRight = { x: p.x + p.r + 2, y: p.y + p.r + 8, a: 'start', q: { x0: p.x + p.r, x1: p.x + p.r + 4 + w, y0: p.y + p.r, y1: p.y + p.r + 16 } }
const aboveLeft = { x: p.x - p.r - 2, y: p.y - p.r - 8, a: 'end', q: { x0: p.x - p.r - 4 - w, x1: p.x - p.r, y0: p.y - p.r - 16, y1: p.y - p.r } }
const diag = [{ x: p.x + g, y: p.y - g, a: 'start', q: { x0: p.x + g - 1, x1: p.x + g + w, y0: p.y - g - 11, y1: p.y - g + 3 } },
{ x: p.x - g, y: p.y - g, a: 'end', q: { x0: p.x - g - w, x1: p.x - g + 1, y0: p.y - g - 11, y1: p.y - g + 3 } },
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。