返回资讯中心
外部精选
软件工程
#开发者实时流

交互式强化学习课程上线:34讲配9个练习,含Q-learning浏览器演示

来源标题:Making reinforcement learning lectures interactive

一套交互式强化学习教程发布,包含34讲、8个模块和9个带测试的练习。课程从Q-learning基础讲起,配有可在浏览器中直接运行的网格演示,并覆盖到用RL训练语言模型的内容。每讲末尾设有检查点,学习路径为阅读、观看、动手实现、闭卷自测。

Hacker News 最新Yadi2026/11/14 · 3 天前19 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

红点一开始对这个网格一无所知。按下 Run,它四处乱走,掉进坑里,偶尔找到 +1。每一步都会更新它对每个动作价值的估计。到第五十轮时,它已经直奔目标而去。这就是 Q-learning。第 03 讲讲解它,在第 03 个练习中你要自己实现它。从这里开始,指南一路讲到如何用 RL 训练语言模型:8 个轨道共 34 讲、9 个带测试的练习,每讲末尾都有一个检查点。

从第 01 讲开始。开始之前,浏览全部内容。

+1 −1 −1 起点 运行 训练 50 轮 重置 轮数 0 最近 20 轮中到达目标:0 最近回报 0.00

图 1. 在小网格上运行的 Q-learning,就在你的浏览器里。深浅表示智能体预期从每个格子能收集到多少,绿色为好,红色为差,箭头是它目前的最佳动作。下方的线是每一轮的回报。Run 展示每一步;Train 50 episodes 直接快进。

更多类似项目

每一讲都按同样的方式学习:阅读、观看、动手实现,然后合上页面自测。下面是图 1 中 Q-learning 的四个步骤。

第 03 讲从价值函数出发,逐项构建更新式,说明它就是改写为更新形式的贝尔曼方程,然后将其扩展到 DQN。

Q(s, a) ← Q(s, a) + α [ r + γ maxa′ Q(s′, a′) − Q(s, a) ]

讲座页面链接了 David Silver 课程中覆盖相同内容的章节:Lecture 4: Model-Free Prediction、Lecture 5: Model Free Control 和 Lecture 6: Value Function Approximation。读完后观看,或者如果你喜欢先看视频,也可以先看。

打开练习 03。你要在 starter.py 中填写三个 TODO,下面是其中之一:

def q_update(q_table, state, action, reward, next_state, done, alpha: float, gamma: float = GAMMA) -> float: """One Q-learning update, in place on q_table. target = reward if done reward + gamma * max_a' q_table[next_state, a'] otherwise q_table[state, action] += alpha * (target - q_table[state, action]) Return the TD error: target - (old q_table[state, action]).

TODO

raise NotImplementedError("q_update")

然后运行 pytest exercises/03-q-learning/。代码正确时,五个测试会通过。卡住了?提示从轻微点拨到接近答案,你可以一次取一个。

合上页面,回答本讲的检查点:

然后一周后再回答一次,不要看资料。

每个练习都是一个带 TODO 的起始文件,配有只有代码正确才会通过的测试、渐进式提示和参考答案。九个练习都能在笔记本 CPU 上运行,从网格世界上的价值迭代,到带可验证答案的玩具任务上的 GRPO。

每个轨道都建立在 Foundations 之上。之后各轨道按奖励来自哪里划分,你可以按需要的顺序学习。每个轨道有自己的页面,讲座按顺序排列,每讲都有检查点。

Foundations → Classical RL:第 03→07、04→07、03→08、01→20、03→20、02→21、04→21、06→21、02→32、04→32、04→33 讲 Foundations → RLHF:第 02→09、06→10 讲 RLHF → RLVR and reasoning:第 10→13、12→15、09→23、12→26、09→28 讲 RLHF → RLAIF:第 09→14、10→14、11→14、09→27、11→34 讲 RLVR and reasoning → Agentic RL:第 15→16 讲 RLVR and reasoning → Offline RL:第 15→18 讲 Classical RL → Offline RL(双向):第 07→19、19→32 讲 Offline RL → RLAIF:第 18→34 讲 RLHF → Systems:第 10→29、10→30 讲

1 Foundations 6 讲,约 27 小时 2 Classical RL 7 讲,约 21 小时 3 RLHF 5 讲,约 18 小时 4 RLAIF 3 讲,约 8 小时 5 RLVR and reasoning 5 讲,约 16 小时 6 Agentic RL 3 讲,约 9 小时 7 Offline RL 2 讲,约 5 小时 8 Systems 3 讲,约 7 小时

图 2. 八个轨道。实线箭头表示某轨道的首讲需要来自它所指向的轨道;虚线表示单讲依赖另一轨道。点击轨道即可打开。

1 Foundations MDP、价值函数、策略梯度、actor-critic、信赖域、PPO。其他所有轨道都建立在这些之上。

环境给出奖励。离策略与基于模型的方法、探索、多智能体 RL、世界模型、元 RL、机器人。

人们比较两个输出,奖励模型从比较中学习,PPO、DPO 及其同类针对它进行优化。

由 LLM 裁判或成文宪法代替人类标注者。

由检查器决定:答案匹配、测试通过。推理模型、过程奖励与结果奖励,以及验证器如何被钻空子。

带工具、浏览器和代码的多步任务。奖励通常在最后才到达,因此信用分配变得困难。

从固定数据集学习,没有新的交互,包括模仿和蒸馏。

LLM-RL 训练如何运行:分布式 rollout 与 learner、推理引擎、硬件。

讲座系列中的所有内容都是同一个底层对象:一个 MDP,智能体选择动作,某种信号告诉它进展是否顺利。子领域之间的区别主要在于这个信号是什么以及由谁提供。Classical RL 从环境获得奖励。RLHF 从人类偏好标签推断奖励。RLAIF 用 LLM 裁判或成文宪法取代人类。RLVR 完全跳过学习到的奖励模型,改用验证器:数学用检查器,代码用测试套件。Agentic RL 把模型放入与环境的多次交互循环中,环境告诉它任务最终是否成功。Offline RL 仅使用记录数据,没有新的交互。

下图展示了每个家族的位置。讲座填充细节;CURRICULUM.md 是建议的顺序。

下面每个家族都是同一个 MDP。它们的区别在于三个答案:奖励来自哪里、训练数据来自哪里、奖励到达之前经过多少步。

env → state → reward → next state。就是那个循环。

学习到的奖励代替环境。

没有学习到的奖励模型:验证器就是奖励。

长时程使信用分配变得困难。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →