
Latent Space 推出 AI Engineer Shanghai 专题并发布独家访谈
来源标题:[AINews] Behind Latent Space: Kill My SaaS, Jev & AI in 2026 | AIEi Shanghai
Latent Space 于 11 月 3 日推出 AI Engineer Shanghai 专题,并发布关于 Latent Space 发展史的独家访谈。同日,该栏目就前一日“Weight Space Programming”报道引发的争议作出回应,承认部分表述过于乐观,但称该发现已有多个独立复现,不打算撤稿或发后续更正。该期内容还汇总了 12 个 subreddit 与 544 个 Twitter 账号的信息。
以下正文由 AI 翻译自 Latent Space(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
昨天的头条“权重空间编程”引发了不少争议——我们也认同,其中一些说法呈现得过于乐观,整体上反而削弱了论文中更实质发现的影响力。但这仍然是一个重要的警醒时刻,而且目前已有多个独立复现,因此无论是撤稿还是再发一篇头条说它是假的,都不值得。
今天我们的主角是 AI Engineer Shanghai,同时还会分享一篇关于 Latent Space 历史的独家访谈!
2026/11/02-2026/11/03 的 AI 新闻。我们检查了 12 个 subreddit、544 个 Twitter 账号,没有更多 Discord。AINews 网站支持搜索所有过往期号。提醒一下,AINews 现在是 Latent Space 的一个栏目。你可以选择订阅或退订邮件推送!
AI Twitter 回顾
权重空间编程:前沿模型读写神经网络权重
- 核心主张与复现:多个团队报告称,前沿 LLM 可以直接生成或编辑小型网络的权重,无需梯度训练或工具。
- 跨代复现:Alex Krentsel 对 MIT 实验的复现发现,模型代际之间存在陡峭的能力跃升;最新模型生成的 Breakout 网络得分最高达到 RL 训练基线的 22 倍(摘要)。
- Hugging Face 复现:Hugging Face 用其开源 AI 研究框架 ML Intern 复现了论文,并发布了模型和 demo(NielsRogge)。
- 手写分类器:一位用户让 Fable 手写了一个 100K 参数的网络,用于区分真实与虚假的法律引文,据称表现优于训练版本(jacsebl)。Legora 的 CTO 强调了这一结果(mstockton)。
- Astra 的 Qwen 编辑,复盘:GPT-6 Astra 在没有反向传播的情况下编辑了 Qwen3.5-0.8B 中的 131,072 个权重,将 MATH-500 从 7.9% 提升到 48.1%。一位知乎用户根据日志做的复现显示,增益比标题所暗示的要窄(ZhihuFrontier):
- 失败模式:579 个修复答案中有 576 个原本是因为循环而触发了 32K token 上限。
- 方法:Astra 从对比性的循环/生产性上下文中推导出一个“重复方向”,主要定位在第 15 和 19 层的 MLP 中,然后从每层 top 64 对齐神经元中减去该投影的 6 倍。
- 留出集结果:在 1,152 道留出题上,准确率从 10.6% 升至 60.4%。大部分增益来自原本就存在、现在能跑完的推理能力。
- 笔记本复现:Simon Willison 报告称,Qwen 3.8 27B 在他的笔记本上经过 45 分钟以上也实现了同样的权重解释壮举(simonw)。
- 质疑解读:
- 基线:批评者认为这些大主张缺乏合格的基线,Qwen 的结果是修 bug 而非递归自我改进,该讨论串存在过度主张(paul_cal)。
- 基准过拟合:直接针对基准拟合权重“基本上没有意义”,正如 nesformer 的 Mario 例子所示(dbreunig)。
- 机制:有一个讨论串在问,模型是否主要读取第一层和最后一层,因为这两层对应已知的输入和输出(ravfogel)。
- 可解释性启示:另一种观点认为,真正的教训是编码智能体使用机制可解释性工具的效率有多高(jbhuang0604)。
- 乐观解读:支持者将这项工作视为元学习终于奏效,并将权重优化视为结构化文本优化。他们建议采用将反向传播与直接编辑交替进行的混合方案(yoonholeee)。 模型发布与独立评测
- 腾讯 Hy4:腾讯报告 APEX-Agents 得分为 75.2,而 DeepSeek V4.1 Flash-1017 为 72.1/72.9,不过两者在其他基准上互有胜负(摘要)。
- 定价与权重:API 价格为每百万输入/输出 token $0.834/$2.501,腾讯计划发布权重。
- Agent Arena:Hy4 在 8.5K+ 会话中综合排名第 14,每任务成本 $0.55,而 Kimi K3.1 Pro 为 $1.46(Max)。两者得分相差不到 1 分(arena)。
- Sarvam Prism:这个“System One”决策模型基于 Sarvam 105B 构建。它得分 71.8,中位响应时间 44 ms,Sarvam 称这是 sub-100 ms 决策模型中最好的平均水平(SarvamAI)。
- 开放权重发布:
- Kimi K3.1 Pro:权重定于周三发布(Together)。
- P-H3-Image:Pruna 的开放模型,从 MiniMax-H3 蒸馏而来,8 步而非 50 步即可运行,体积小 7 倍,2.6 秒生成 4 MP 图像(PrunaAI)。
- LongCat-2.5:该模型总参数 1.6T、激活参数约 48B,定价 $0.30/$1.20。在一位用户的测试中,它构建一个浏览器游戏花费 $0.28,而 Qwen3.8-Max 为 $0.82(omarsar0)。
- 其他发布:
- EmbeddingGemma 2:论文已发布(osanseviero)。
- Krea 3:技术报告介绍了一个由不到 10 人的研究团队构建的模型(krea_ai)。
- Crouton Alpha:OpenRouter 上一个免费的 stealth 推理模型,提供 1M 上下文(OpenRouter)。
- 开放十月架构:Raschka 整理了十月发布的 10 个开放 LLM 架构(rasbt):
- 注意力变体:Mistral Large 4(1T)将 MLA 与稀疏注意力配对。
- 混合与 MoE:Muse Spark Open(816B)是 Meta 自 Llama 以来首个重大开放发布,采用 LatentMoE。Nemotron 3.5 Super VL 将 Mamba-2 层与八个注意力层混合。
- 循环模型:Dory1.0 是一个循环 transformer。
- Artificial Analysis 更新:
- 能力指数 v2.0:此次更新增加了对非幻觉和智能体工具使用的权重。Claude Opus 5.5(max)在全部六个指数中领先;Kimi K3.1 Pro 在开放模型中领先(ArtificialAnlys)。
- 智能指数 v5.0.1:用 CritPt v2 服务器重新评分后,没有任何前沿排名变动超过 1 分(ArtificialAnlys)。
- AA-Robotics:Opus 5.5 完成了一个机械臂任务,然后又花了 22 分钟在上面。只有 GPT-6.1 Sol 和 Gemini 4 Argon 在一分钟内停止(ArtificialAnlys)。
- Vals 研究:
- 推理投入:GPT-6 Astra 在最低设置下以 18% 的成本保留了 88% 的得分,Grok 4.7 以 16% 的成本保留了 86%。Gemini 4 Argon 几乎没省钱(ValsAI)。
- 路由器指数:Fireworks 的 Nexus Auto(Sol)是首个达到 60% 的路由器,每测试 $1.25(ValsAI)。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。