探索-利用困境:机器学习决策中的基本权衡
来源标题:Exploration–Exploitation Dilemma
探索-利用困境是决策中的基本概念,指在利用已知最佳选项与探索可能带来更好结果的新选项之间寻求平衡。在强化学习中,智能体需决定是利用当前最佳策略还是探索新策略以提升表现。多臂老虎机问题曾是该权衡的经典例子,并催生了许多解决方法。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
探索-利用困境,也称为探索-利用权衡,是决策中的一个基本概念,出现在许多领域。[1][2] 它被描述为两种对立策略之间的平衡行为。利用涉及根据当前对系统的知识(可能不完整或具有误导性)选择最佳选项,而探索涉及尝试新选项,这些选项可能在未来带来更好的结果,但以牺牲利用机会为代价。在这两种策略之间找到最佳平衡是许多决策问题中的关键挑战,其目标是最大化长期利益。[3]
在机器学习的背景下,探索-利用权衡在强化学习(RL)中是基础性的,这是一种涉及训练智能体根据环境反馈做出决策的机器学习类型。关键是,这种反馈可能不完整或延迟。[4] 智能体必须决定是利用当前最佳已知策略还是探索新策略以提高其性能。
多臂老虎机(MAB)问题是这种权衡的经典例子,为此开发了许多方法,如epsilon-greedy、Thompson采样和上置信界(UCB)。详见MAB页面。
在比MAB问题更复杂的RL情况下,智能体可以将每个选择视为一个MAB,其中回报是预期的未来奖励。例如,如果智能体执行epsilon-greedy方法,那么智能体将经常通过选择具有最佳预测预期奖励的动作来“拉动最佳杠杆”(利用)。然而,它会以概率epsilon选择一个随机动作(探索)。例如,蒙特卡洛树搜索使用UCB方法的一种变体。[5]
有些问题使探索变得困难。[5]
探索奖励(也称为探索奖金)方法将探索-利用困境转换为利用的平衡。也就是说,不是试图让智能体平衡探索和利用,而是简单地将探索视为另一种形式的利用,智能体只是试图最大化探索和利用的奖励总和。探索奖励可以被视为一种内在奖励的形式。[9]
我们将这些写为rti,rte,表示时间步t的内在和外在奖励。
然而,探索奖励在两个方面与利用不同:
基于计数的探索使用Nn(s),即在时间步1:n期间对状态s的访问次数,来计算探索奖励。这仅在小且离散的状态空间中可行。基于密度的探索通过使用密度模型ρn(s)扩展了基于计数的探索。其思想是,如果一个状态已被访问,那么附近的状态也部分被访问。[10]
在最大熵探索中,智能体策略π的熵作为内在奖励中的一个项被包含。即,rti=−∑aπ(a|st)lnπ(a|st)+⋯。[11]
前向动力学模型是一个基于当前状态和当前动作预测下一个状态的函数:f:(st,at)↦st+1。前向动力学模型随着智能体的玩耍而训练。该模型对于已经执行多次的状态-动作对的状态转换预测变得更好。
前向动力学模型可以通过rti=‖f(st,at)−st+1‖22定义探索奖励。也就是说,奖励是预测与现实的平方误差。这奖励智能体执行未执行多次的状态-动作对。然而,这容易受到噪声电视问题的影响。
动力学模型可以在潜在空间中运行。即,rti=‖f(st,at)−ϕ(st+1)‖22,对于某个特征提取器ϕ。特征提取器可以是恒等函数(即ϕ(x)=x)、随机生成的、变分自编码器的编码器半部分等。一个好的特征提取器改进了前向动力学探索。[12]
内在好奇心模块(ICM)方法同时训练前向动力学模型和特征提取器。特征提取器通过逆向动力学模型训练,该模型是一个基于当前和下一个状态的特征预测当前动作的函数:g:(ϕ(st),ϕ(st+1))↦at。通过优化逆向动力学,逆向动力学模型和特征提取器都得到改进。然后,改进的特征提取器改进前向动力学模型,从而改进智能体的探索。[13]
随机网络蒸馏(RND)方法试图通过教师-学生蒸馏解决这个问题。而不是前向动力学模型,它有两个模型f,f′。f′教师模型是固定的,f学生模型被训练以在状态s上最小化‖f(s)−f′(s)‖22。随着一个状态被访问越来越多,学生网络在预测教师方面变得更好。同时,预测误差也是智能体的探索奖励,因此智能体学习执行导致更高预测误差的动作。因此,我们有一个学生网络试图最小化预测误差,而智能体试图最大化它,从而导致探索。
状态通过减去运行平均值并除以运行方差来归一化,这是必要的,因为教师模型是冻结的。奖励通过除以运行方差来归一化。[7][14]
通过分歧探索训练一组前向动力学模型,每个模型在所有(st,at,st+1)元组的随机子集上。探索奖励是模型预测的方差。[15]
对于基于神经网络的智能体,NoisyNet方法通过噪声版本改变其一些神经网络模块。也就是说,一些网络参数是来自概率分布的随机变量。分布的参数本身是可学习的。[16] 例如,在线性层y=Wx+b中,W,b在每个步骤从高斯分布𝒩(μW,ΣW),𝒩(μb,Σb)中采样,参数μW,ΣW,μb,Σb通过重参数化技巧学习。[17]
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。