中心极限定理
中心极限定理 (Central limit theorem, 簡作 CLT) 是概率论中的一组定理。中心极限定理说明,在适当的条件下,大量相互独立随机变量的均值经适当标准化后依分布收敛于正态分布。这组定理是数理统计学和误差分析的理论基础,指出了大量随机变量之和近似服从正态分布的条件。
历史
Tijms (2004, p.169) 写到:
中心极限定理有着有趣的历史。这个定理的第一版被法国数学家棣莫弗发现,他在1733年发表的卓越论文中使用正态分布去估计大量抛掷硬币出现正面次数的分布。这个超越时代的成果险些被历史遗忘,所幸著名法国数学家拉普拉斯在1812年发表的巨著 Théorie Analytique des Probabilités中拯救了这个默默无名的理论。
|
棣莫佛-拉普拉斯定理
棣莫佛-拉普拉斯(de Moivre - Laplace)定理是中央极限定理的最初版本,讨论了服从二项分布的随机变量序列。它指出,参数为n, p的二项分布以np为均值、np(1-p)为方差的正态分布为极限。
在高尔顿板问题上的应用
棣莫弗-拉普拉斯定理指出二项分布的极限为正态分布。高尔顿板可以看作是伯努利试验的实验模型。如果我们把小球碰到钉子看作一次实验,而把从右边落下算是成功,从左边落下看作失败,就有了一次的伯努利试验。小球从顶端到底层共需要经过n排钉子,这就相当于一个n次伯努利试验。小球的高度曲线也就可以看作二项分布随机变量的概率密度函数。因此,中央极限定理解释了高尔顿板小球累积高度曲线为什么是正态分布独有的钟形曲线。
林德伯格-列维定理
林德伯格-列维(Lindeberg-Levy)定理,是棣莫佛-拉普拉斯定理的扩展,讨论独立同分布随机变量序列的中央极限定理。它表明,独立同分布(iid independent and indentically distributed)、且数学期望和方差有限的随机变量序列的标准化和以标准正态分布为极限:
林德伯格-费勒定理
林德伯格-费勒定理,是中心极限定理的高级形式,是对林德伯格-列维定理的扩展,讨论独立,但不同分布的情况下的随机变量和。它表明,满足一定条件时,独立,但不同分布的随机变量序列的标准化和依然以标准正态分布为极限:
内容
记随机变量序列(独立但不一定同分布,且有有限方差)部分和为
记
.
如果对每个,序列满足
则称它满足林德伯格(Lindeberg)条件。
满足此条件的序列趋向于正态分布,即
同时,该条件也是期望为零、方差有限的独立变量之和趋于正态分布的必要条件。
与之相关的是李雅普诺夫(Lyapunov)条件:
满足李雅普诺夫条件的序列,必满足林德伯格条件。
证明
在此只对较强的李雅普诺夫条件给出证明。
以下证明对每一实数,特征函数满足。
泰勒展开,上式可近似为
由李雅普诺夫条件,当时,第一项收敛于零。
令,则由李雅普诺夫不等式,
因此第二项也收敛于零。
证毕。
参考文献
- 李贤平,概率论基础(第二版),高等教育出版社
- Olav Kallenberg,现代概率论基础(第二版),Springer(2002)。