返回资讯中心
外部精选
软件工程
#开发者实时流

可视化解释强化学习:用滑块与立方体展示学习轨迹

来源标题:A visual explanation of reinforcement learning

一篇交互式可视化文章通过让用户调节三个滑块引导火花趋向光源,将参数空间表示为立方体的三个轴,并把学习轨迹画成路径。文章指出找到正确配置需要大量试错,分数是100次试验中火花遇到光量的平均值。随后将这一过程提炼为学习算法:每次试验前随机微调参数,表现更好则获得奖励并向该方向调整。

Hacker News 最新aatish2026/11/14 · 3 天前12 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

目标 0.11 尝试 直行 交叉 驱动 提示 重置 得分代表在这些设置下,火花在100次试验中平均遇到的光量。 找到正确的配置需要大量的试错。(如果卡住了,点击上方的提示按钮,会给你一个正确方向的推动。) 让我们把你刚才做的事情可视化。为了引导火花走向光,你调整了三个数字。我们可以把这三个数字表示为立方体的三个轴。 这幅图的意义在于,我们可以把火花的学习轨迹可视化为这个立方体中的一条路径。 为了引导火花,你可能是把某个滑块往一个方向推了一点,看看这会让事情变好还是变坏,然后利用这个反馈来决定下一步。 让我们把它提炼成一个学习算法——一个火花可以通过练习来重新连接其大脑的分步过程。 它是这样运作的:火花有很多次尝试来朝光的方向转向。每次试验之前,它的大脑连接都会随机地发生一点变化,就像你来回拨动滑块一样。 如果这次试验比之前的更好,那么火花就得到奖励,它的连接会朝着这个随机变化的方向移动。如果试验更糟,火花就受到惩罚,它的连接则朝相反方向移动。 这与你学习走路或骑自行车的方式并没有太大不同。摔倒就是你的惩罚,而平衡的刺激感就是你的奖励。 这个简单的算法能帮助火花找到光吗? 一开始,火花是个新手,大脑的连接是随机的。不出所料,它走不了多远。 火花宝宝能在原地打转,但还不会四处移动。不过它马上就要变好了…… 经过50次这个学习算法的尝试,我们的火花婴儿迈出了第一步。虽然它不会打破任何速度记录,但它现在动起来了…… 经过250次尝试,我们的火花少年加快了速度。但它在最后一刻偏离了光。 经过500次尝试,我们的火花青少年勇敢地冲向光。但它还没学会如何减速或停下。 经过2000次尝试,我们的火花现在成年了——一个寻找和追随光的专家。它紧贴着光,能瞬间转向。(试着移动光,看火花跟随它。) 和之前一样,我们可以把这个学习过程可视化为一条路径。 这不是穿过物理空间的路径。相反,它是穿过可能的大脑空间的路径。它展示了火花的大脑在学习过程中如何变化。 其他新手火花会从不同的点开始,它们各自会描绘出自己的学习轨迹。 这张纠缠的网展示了数百个新手火花的学习路径,每个都从不同连接的大脑开始。仿佛魔法一般,所有这些线都汇聚到标有♥︎的点。 这些路径不是直线:学习不是线性的。沿途会有挫折、走错弯和犯错。而且它不一定很快。有些学习者花了数千次尝试才达到目标。 你会注意到这些路径都是抖动的。这是因为每一步都涉及随机性。我们可以通过在每个点对许多轨迹取平均来平滑这种抖动,从而揭示出一张学习流动的地图。 值得花点时间欣赏这有多么令人惊讶——只要有足够的尝试,同样的学习过程就把每个新手变成了 expert 的光追寻者。 在这个火花大脑的无数可能排列中,只有一小部分能产生我们想要的行为。失败的方式远比成功的方式多。 然而,你刚刚见证了一个小小的奇迹。火花在这片死胡同的迷宫中穿行,重新连接它的大脑来找到光,仅仅由奖励和惩罚引导。 一旦你成年,学习并不会停止。我们终生学习,并适应变化的环境。 我们的火花也能做到这一点。例如,如果光代表的不是食物来源,而是有害的化学物质或危险的捕食者呢? 现在火花因为避开光而受到奖励,而不是因为寻找光,这导致了新的行为: 如果光是有害的,那么LOVE成为最差的策略,火花们学会FLEE(尽快逃离)或FREEZE(装死)。 如果相反,火花因为高速接近光而受到奖励,那么它学会冲向光,即FIGHT。 就像孩子从环境中学习一样,火花可以学习非常不同的行为——逃离、冻结、战斗或跟随光——取决于它如何被奖励。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →