Gibbs 抽样(Gibbs Sampling)是一种从高维概率分布中抽取样本的方法,它主要用于统计物理和机器学习领域。这种方法基于马尔可夫链蒙特卡洛(Markov Chain Monte Carlo,MCMC)方法,可以用来估计复杂概率分布的统计特性。
具体来说,Gibbs 抽样是一种从概率分布中抽取样本的算法,其基本思想是:
1. 初始化:从一个概率分布中随机选择一个起始点作为样本。
2. 迭代更新:对于每个样本,根据当前样本和其它样本之间的关系,更新当前样本的值。这个过程称为“抽样”。
Gibbs 抽样在以下场景中非常有用:
当目标概率分布非常复杂,难以直接采样时。
当样本之间存在强相关性时。
当需要估计概率分布的统计特性时,如均值、方差等。
Gibbs 抽样并不保证在有限次迭代后立即收敛到目标分布,而是需要通过足够多的迭代次数来保证样本的代表性。Gibbs 抽样也要求目标概率分布是可逆的,即可以通过目标分布计算得到其它样本的值。