返回资讯中心
外部精选
软件工程
#开发者实时流

重新审视重要性采样:概率密度与绝对值成正比

来源标题:Revisiting Importance Sampling

文章指出重要性采样中目标分布 p(x) 应正比于 |f(x)| 而非 f(x),因概率密度不能为负,λ 只是归一化因子。由此可精确算出 p(x),即蒙特卡洛积分中方差最小的最优分布。文中同时提醒该结论严格来说只确定了驻点,尚未证明是最小值。

Hacker News 最新ibobev2026/11/4 · 13 天前17 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

(\lambda) 具体是什么并不重要;重要的是它是一个常数——不依赖于 (x)!因此左边也是一个常数,这意味着 (p(x)) 与 (f(x)) 成正比!真是这样吗?

这里对 (f(x)) 和 (p(x)) 都悄悄做了平方,掩盖了它们的符号,而我从未说过 (f(x)) 是非负的!如果更严谨一些,我们应该说 (p(x)) 与 (\pm f(x)) 成正比。但我们知道 (p(x)) 是概率密度,所以它不可能是负的!因此 (p(x)) 必定与 (|f(x)|) 成正比,而 (\lambda) 只是归一化因子。

事实上,现在我们可以通过归一化来精确计算 (p(x)):

这里我引入了记号 (I_+ = \int\limits_\Omega |f(x)|dx)。

这是用于蒙特卡洛积分的完美分布,也就是说,它是方差(即噪声)最小的分布。严格来说,我们只确定了它是一个驻点,所以并不知道它是最小值还是最大值。然而,我们可以选择一个很糟糕的分布,它集中在某一点附近、其他地方几乎为零,其方差可以大到我们想要的任何程度,因此我们的分布必定是最小值。

好了,这就是那个分布,但方差本身呢?只需把它代入我们最开始的那个方差公式:

顺便说一句,通过巧妙应用 Cauchy-Schwarz 不等式,我们可以立即得到相同的结果:

但我从来就不擅长巧妙应用不等式,而且它也不能给出最小化分布本身,也无法证明这个界无法改进。

这是个相当可爱的公式,但我们还可以让它更可爱。看,它是一个平方差,所以我们可以应用幼儿园公式 (a^2-b^2=(a+b)(a-b)),得到

也就是说,它不过是函数正部分的积分、乘以负部分的积分(取负,使其仍为正)、再乘以 4 的乘积。

我觉得这个公式相当令人大开眼界。如果被积函数 (f(x)) 始终非负,其负部分的积分为零 (I_{0} = 0),最小方差就是零。

注意,尽管理论上我们可以让单样本方差低到任意程度,但在实践中最优分布本身毫无用处:蒙特卡洛需要计算 (\frac{f(x)}{p(x)}) 作为估计量,而对于非负函数的最优分布 (p(x)=\frac{f(x)}{I}),这 simply 就是 (\frac{f(x)}{p(x)} = \frac{f(x)}{f(x)/I} = I)。所以,如果我们知道了最优分布,就意味着我们已经知道了积分值,根本不需要蒙特卡洛。

然而,如果我们的函数可正可负,那么方差能降到多低就存在一个非零的下界。在最坏的情况下,函数正负出现的频率相同,两个积分 (I_{>0}) 和 (I_{<0}) 都足够大,最小可能方差也会很大。

我们为什么要在意这个呢?嗯,在传统的固体表面蒙特卡洛路径追踪中,被积函数是光量,通常以每时间每表面积每立体角每波长每白头海雕每足球场的能量流为单位,差不多是这样。总之,它基本上是光的能量,不可能是负的,所以上面的讨论并不真正适用——理论最小方差实际上是零。

然而,在体积路径追踪中,我们不是计算积分,而是被迫计算积分的指数,比如 (\exp\left(-\int f(x)dx\right)),而且由于这个指数只是我们想为之寻找单样本蒙特卡洛估计量的一个大公式的一部分,我们不能只计算内层积分。不过,我们可以做的一件事是把指数展开成幂级数,然后对这个级数的项进行随机采样。

但有一个问题:看到指数里面的那个负号了吗?这意味着得到的幂级数会有交替的符号,在做蒙特卡洛时,其方差能降到多低存在一个非零下界(顺便说一句,级数的推导比任意函数的推导简单得多,但界基本上是一样的——分别是正项和与负项和的乘积)。

事实上,当我们的积分值指数级缩小时,方差会指数级增长,所以我们会得到像 (I \approx 0.01 \pm 100) 这样的结果,基本上就是垃圾。

那么,对于可正可负的函数,我们该怎么办呢?有几种选择!

第一种很明显:如果你知道正部分和负部分的位置,就分别计算它们的积分。然而,我们不能简单地随机选择每个样本是正的还是负的——这只不过是被着某些概率分布 (p(x)) 外衣的基本蒙特卡洛,上面的方差界同样适用。我们需要的是,比方说,为每个部分分配固定数量的样本(例如,使用 Neyman 分配)。这基本上等同于分层抽样,并且出于同样的原因实现方差缩减——通过更均匀地分布样本。

另一种选择(有个神秘的名字叫控制变量法)就是简单地给我们的函数加点什么!假设我们知道存在一个常数 (M),使得对所有 (x) 都有 (f(x) > -M)。这意味着 (f(x)+M) 是非负的,不受这个方差界的限制!因此,我们不直接计算 (f(x)) 的积分,而是计算 (f(x)+M) 的积分,然后减去 (M) 的积分(据说这很容易计算):

事实上,这正是我上面提到的处理指数问题的常用方法(嗯,是该方法的一部分),但要解释它还需要另一篇文章,我希望很快能写出来。 cheers!

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →