返回资讯中心
外部精选
软件工程
#社区热议

可视化解释强化学习:火花如何通过试错找到光源

来源标题:A visual explanation of reinforcement learning

文章用交互式可视化展示强化学习的基本原理:调整三个参数引导火花找到光源,类似滑块试错过程。系统将三个参数表示为立方体的三个轴,把学习轨迹可视化为此立方体内的路径,并据此提炼出逐步学习算法。

Hacker Newsaatish2026/11/14 · 3 天前12 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

目标 0.11 尝试次数 直行 交叉 驱动 提示 重置 得分代表火花在这些设置下进行100次试验平均遇到的光量。 找到正确的配置需要大量的试错。(如果你卡住了,点击上方的提示按钮,获得正确方向的指引。) 让我们把你刚才做的事情可视化。为了引导火花走向光,你调整了三个数字。我们可以把这三个数字表示为一个立方体的三个轴。 这幅图的意义在于,我们可以把火花的学习轨迹可视化为这个立方体内的一条路径。 为了引导火花,你很可能朝一个方向微调了滑块,观察这让情况变好还是变坏,然后利用这个反馈来决定下一步。 让我们把它提炼成一个学习算法——一个火花可以通过练习来重新连接其大脑的分步过程。 它的工作原理是这样的:火花有很多次尝试来朝光的方向前进。在每次试验之前,它的大脑连接会随机发生一点变化,就像你来回拨动滑块一样。 如果这次试验比之前的更好,那么火花会获得奖励,它的连接会朝着这个随机变化的方向移动。如果试验变得更糟,火花会受到惩罚,它的连接会朝相反方向移动。 这与你学会走路或骑自行车的方式并没有太大不同。摔倒是你的惩罚,而保持平衡的兴奋感是你的奖励。 这个简单的算法能帮助火花找到光吗? 起初,火花是个新手,大脑的连接是随机的。不出所料,它走不了多远。 火花宝宝可以在原地打转,但还不能四处移动。但它即将变得更好…… 经过50次这个学习算法的尝试,我们的火花婴儿迈出了第一步。虽然它不会打破任何速度记录,但它现在动起来了…… 经过250次尝试,我们的火花少年加快了速度。但它在最后一刻偏离了光。 经过500次尝试,我们的火花青少年勇敢地冲向光。但它还没有学会如何减速或停下。 经过2,000次尝试,我们的火花现在成年了——一个寻找和跟随光的专家。它紧贴光源,能够瞬间转向。(试着移动光源,看火花跟随它。) 和之前一样,我们可以把这个学习过程可视化为一条路径。 这不是穿过物理空间的路径。相反,它是穿过可能的大脑空间的路径。它展示了火花的大脑在学习过程中是如何变化的。 其他新手火花会从不同的点开始,它们各自描绘出自己的学习轨迹。 这张纠缠的网展示了数百个新手火花的学习路径,每个都从不同连接的大脑开始。仿佛魔法一般,所有这些线索都汇聚到标记为♥︎的点。 这些路径不是直线:学习不是线性的。沿途会有挫折、错误的转弯和失误。而且它不一定很快。有些学习者花了数千次尝试才达到目标。 你会注意到这些路径都是抖动的。这是因为每一步都涉及随机性。我们可以通过对每个点上的许多轨迹取平均来平滑这种抖动,从而揭示学习流动的地图。 值得花点时间体会这有多么令人惊讶——只要有足够的尝试,同样的学习过程就把每个新手变成了专家级的寻光者。 在这个火花大脑的无数可能排列中,只有一小部分能产生我们想要的行为。失败的方式远比成功的方式多。 然而,你刚刚见证了一个小小的奇迹。火花在死胡同的迷宫中穿行,重新连接其大脑来找到光,仅仅依靠奖励和惩罚的引导。 学习不会在你成年后就停止。我们终生学习并适应不断变化的环境。 我们的火花也能做到这一点。例如,如果光代表的是有害化学物质或危险的捕食者,而不是食物来源呢? 现在火花因避开光而受到奖励,而不是因寻找光而受到奖励,这导致了新的行为: 如果光是有害的,那么LOVE成为最差的策略,火花们学会FLEE(尽快逃离)或FREEZE(装死)。 如果火花因高速接近光而受到奖励,那么它学会冲向光,即FIGHT。 就像孩子从环境中学习一样,火花可以学习非常不同的行为——逃离、冻结、战斗或跟随光——取决于它如何被奖励。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →