研究者探讨拟似然GLM与贝叶斯模型的结合思路

我正在上一门关于 GLM 的课程，刚学到拟似然（QL）模型，有一些想法想先记下来。

QL 允许你对过散布/欠散布建模，并通过指定均值-方差关系、而不需要完整的似然来放宽 GLM 的分布假设。然后你可以在指定的方差结构之上估计一个缩放因子。简而言之： 其中 f(μi) 是你指定的方差结构（例如，对于拟泊松，f(μi)=μi），ϕ 是学习到的离散参数。GLM 的 Pearson 统计量（你可以 somewhat 非正式地用于模型选择）定义为： 请注意，这取决于你对 f 的选择，我稍后会再谈到这一点。

在我看来，应该有可能（甚至相对容易）构建一个贝叶斯非参数模型（BNP），其行为非常相似，产生所需的方差关系：允许估计离散度，同时保持一般的方差形式。此外，我认为应该有可能定义这样一个族，使得 BNP 后验的泛函给出与 QL 模型相同的点估计。我不认为在一般情况下你能轻易获得有限样本等价性，但我相当确定，在标准正则条件下，渐近收敛应该相对直接。

这将有许多优点，主要是允许先验（即归纳偏差）和标准 UQ（这有点是贝叶斯方法的核心）。

此外，如果你再次查看上面一般 GLM X2 统计量的定义，你可以看到它取决于你选择的 f，因此在不同方差结构的模型之间进行比较，看哪个最能代表观察到的数据，从技术上讲并不是很有说服力。此外，由于整个拟似然的事情，你不能计算你通常用于推断性模型比较的似然的任何函数，比如 AIC 或 BIC（使用贝叶斯模型，你会直接得到一个后验，并且可以堆叠你的均值/方差预测）。因此，你不能直接将参数模型（指定完整似然）与 QL 模型进行比较。

因此，在我看来，最有意义的是使用交叉验证（CV）进行预测性模型比较（这本来就是我典型的——频率派——模型比较模式；我的正统务实贝叶斯方法无论如何都会是 LOO-CV 并尝试合并模型）。显然，这与基于显著性的模型比较不同，但使用样本外预测性能进行模型选择的论据已经确立，（在我看来）非常有力。当然，在这种范式下要注意的主要事情是，我们必须为我们的损失函数辩护；我认为一个（严格）适当的评分规则，它是均值和方差的函数，将是最合适的，并且相对容易证明其合理性。

我认为一个可能更有趣的路线是通过更灵活的似然族混合 QL 结构——也就是说，你可以混合过散布族并学习它们的权重： 显然，这比指定一个单一的、特定的方差族要灵活得多。在这种情况下，我认为你需要一些更多的条件才能使权重可估计和可识别。

最后注意：我还没有读过，但这篇 Biometrika 论文似乎相当相关：通过拟后验进行广义线性模型的贝叶斯推断。