吉布斯采样

吉布斯采样适用于条件分布比边缘分布更容易采样的多变量分布。假设我们需要从联合分布 ${\displaystyle p(x_{1},\dots ,x_{n})}$中抽取${\displaystyle \mathbf {X} =(x_{1},\dots ,x_{n})}$的${\displaystyle \left.k\right.}$个样本。记第${\displaystyle i}$个样本为${\displaystyle \mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)}$。吉布斯采样的过程则为：

1. 确定初始值${\displaystyle \mathbf {X} ^{(1)}}$。
2. 假设已得到样本${\displaystyle \mathbf {X} ^{(i)}}$，记下一个样本为${\displaystyle \mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)}$。于是可将其看作一个向量，对其中某一分量${\displaystyle x_{j}^{(i+1)}}$，可通过在其他分量已知的条件下该分量的概率分布来抽取该分量。对于此条件概率，我们使用样本${\displaystyle \mathbf {X} ^{(i+1)}}$中已得到的分量${\displaystyle x_{1}^{(i+1)}}$到${\displaystyle x_{j-1}^{(i+1)}}$以及上一样本${\displaystyle \mathbf {X} ^{(i)}}$中的分量${\displaystyle x_{j+1}^{(i)}}$到${\displaystyle x_{n}^{(i)}}$，即${\displaystyle p\left(x_{j}^{(i+1)}|x_{1}^{(i+1)},\dots ,x_{j-1}^{(i+1)},x_{j+1}^{(i)},\dots ,x_{n}^{(i)}\right)}$。
3. 重复上述过程${\displaystyle k}$次。

在采样完成后，我们可以用这些样本来近似所有变量的联合分布。如果仅考虑其中部分变量，则可以得到这些变量的边缘分布。此外，我们还可以对所有样本求某一变量的平均值来估计该变量的期望。

• 圖模式
• 马尔可夫链
• 马尔可夫逻辑网络

• Bishop, Christopher M., , Springer, 2006, ISBN 0-387-31073-8
• Bolstad, William M. (2010), Understanding Computational Bayesian Statistics, John Wiley ISBN 978-0-470-04609-8
• Casella, G.; George, E. I. . The American Statistician. 1992, 46 (3): 167. JSTOR 2685208. doi:10.2307/2685208.
• Gelfand, Alan E.; Smith, Adrian F. M., , Journal of the American Statistical Association, 1990, 85 (410): 398–409, JSTOR 2289776, MR 1141740, doi:10.2307/2289776
• Gelman, A., Carlin J. B., Stern H. S., Dunson D., Vehtari A., Rubin D. B. (2013), Bayesian Data Analysis, third edition. London: Chapman & Hall.
• Levin, David A.; Peres, Yuval; Wilmer, Elizabeth L. (2008), "Markov Chains and Mixing Times", American Mathematical Society.
• Robert, C. P.; Casella, G. (2004), Monte Carlo Statistical Methods (second edition), Springer-Verlag.