返回资讯中心
外部精选
软件工程
#开发者实时流

开发者发布近实时LLM操控项目,可实时调节模型注意力

来源标题:Spaceship IDE – Realtime Steering with Cerebras Ultra-Low Latency LLM

开发者Chuanqi Sun发布了一个名为Near-Realtime LLM Steering的实验项目,让用户以类似太空驾驶的方式实时操控LLM的注意力与生成方向。该项目支持接入Cerebras和Gemini的API密钥,密钥仅保存在浏览器本地存储中。演示包含注意力锁定、未来向量调节和实时重新生成等交互方式,作者称LLM与决策模型未来有望达到60FPS的交互速度。

Hacker News 最新osmoscraft2026/11/16 · 昨天5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

像太空飞行员那样实时操控你的想法!

在 Instagram 和 YouTube 上观看。你可以在 https://chuanqisun.github.io/spaceship/ 试用这个模拟器,也可以填入你自己的 Cerebras 和 Gemini API key 进入实时模式。Key 只保存在浏览器的 local storage 里。使用风险自负。

在不久的将来,LLM 和决策模型将达到 60 FPS 的交互性。到那时,会解锁哪些全新的交互范式?这个项目展示了面向那个未来的一些合理且值得期待的交互方式。

专注监控:我们能否把 LLM 正在关注的内容可视化,并借此引导人的注意力投向真正重要的地方?

注意力锁定:我们能否强制 LLM 更多地关注某些特定短语,从而影响它后续的行为?

未来向量操控:我们能否把任务分解成特征向量,分别独立调节每一个,再重新组合,以此影响即将生成的文本?

实时重新生成:当文本生成变得廉价而快速时,我们能否通过拖动进度来探索不同的未来分支?

大部分实现我用了 Claude Code,但 UI/UX 部分始终亲自上手。我的迭代方式是交互式风格样本(interactive style swatch):我让 AI 给出多种不同的设计方案,我给出反馈,它再迭代。你可以在附加页面里看到这些设计产物。

为了实现实时体验,我不得不采用激进的推测式生成,并基于用户交互来管理缓存失效。例如,当主旋钮往回拨时,我必须清空未来的文本并取消正在进行的请求。整个系统里有很多这类考量,需要大量人的判断——Claude 并不能一次性把它们都做对。

我目前专注于帮助人们实时塑造想法的系统。这个项目是我即将在 MIT Media Lab 开展的论文研究的一小步,我在那里研究语义系统与符号系统如何耦合,以增强人的创造力、能动性和创作乐趣。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →