随机变量的收敛

正如一个数列可能收敛到某个极限量，一列函数可能收敛到某个极限函数一样，随机收敛指的是一系列随机变量${\displaystyle \left(X_{n};\;n\in \mathbb {N} \right)}$在n趋向于无穷大时，会越来越接近某个固定的极限。这个极限可能是指：

1. ${\displaystyle X_{n}}$趋向某个固定的数；
2. ${\displaystyle X_{n}}$趋向某个确定函数的输出值；
3. ${\displaystyle X_{n}}$的概率分布越来越接近某个特定的随机变量的概率分布；
4. ${\displaystyle X_{n}}$和某个特定随机变量的差别的平均值（数学期望值）趋向于0；
5. ${\displaystyle X_{n}}$和某个特定随机变量的差别的方差趋向于0。

等等。这些不同的极限的定义，可以严格地写成不同的收敛方式的定义。

依概率1收敛又称为几乎处处收敛，其定义接近于函数逐点收敛的定义。事实上，由于随机变量的本质是由样本空间${\displaystyle {\mathit {\Omega }}}$到取值空间${\displaystyle {\mathfrak {B}}}$上的函数。因此，给定一个概率空间 ${\displaystyle \left({\mathit {\Omega }},{\mathcal {F}},\mathbb {P} \right)}$中的一列 随机变量${\displaystyle \left(X_{n};n\in \mathbb {N} \right)}$，考虑事件${\displaystyle A_{X}=\left\{\omega$ ;\;\lim _{n\to \infty }X_{n}(\omega )=X(\omega )\right\}} 。如果存在一个随机变量${\displaystyle X}$，使得事件${\displaystyle A_{X}}$的概率为1，那么就称随机变量序列 ${\displaystyle \left(X_{n};n\in \mathbb {N} \right)}$ 依概率1收敛到 ${\displaystyle X}$（或称 ${\displaystyle \left(X_{n};n\in \mathbb {N} \right)}$ 几乎处处收敛到 ${\displaystyle X}$），记作：

${\displaystyle X_{n}{\xrightarrow {a.s.}}X}$ 或 ${\displaystyle \mathbb {P} \left(\lim _{n\to \infty }X_{n}=X\right)=1}$

当取值空间${\displaystyle {\mathfrak {B}}}$是一般的实数空间${\displaystyle \mathbb {R} }$时，依概率1收敛的意义是：

对任意的正实数${\displaystyle \varepsilon >0}$，${\displaystyle \mathbb {P} {\Big (}\liminf {\big \{}\omega \in \Omega$ :|X_{n}(\omega )-X(\omega )|<\varepsilon {\big \}}{\Big )}=1}

当空间${\displaystyle {\mathfrak {B}}}$是度量空间 (S, d) 的时候，依概率1收敛的意义是：

${\displaystyle \mathbb {P} {\Big (}\omega \in \Omega$ :\,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\xrightarrow[{n\to \infty }]{\,}}\,0{\Big )}=1}

设${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 是一个随机变量序列，${\displaystyle X}$是一个随机变量。如果对于任意的正实数${\displaystyle \epsilon >0}$，都有：

${\displaystyle \lim _{n\to \infty }\mathbb {P} (|X-X_{n}|\geq \epsilon )=0}$

那么称序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 依概率收敛到${\displaystyle X}$，记作：${\displaystyle X_{n}{\xrightarrow[{n\to \infty }]{\mathbb {P} }}X}$

如果${\displaystyle (X_{n};\,n\in \mathbb {N} )}$的取值空间是一个可分度量空间(S, d)，那么依概率收敛的定义为[1]：

${\displaystyle \mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0,\quad \forall \varepsilon >0.}$

依概率收敛和依概率1收敛的定义有相似之处，但本质上，依概率1收敛是比依概率收敛更“强”的收敛性质。如果一列随机变量依概率1收敛到某个极限，那么它必然也依概率收敛到这个极限，但反之则不然。一个实数上的例子是：设概率空间 ${\displaystyle \left({\mathit {\Omega }},{\mathcal {F}},\mathbb {P} \right)}$是区间${\displaystyle {\mathit {\Omega }}=[0,1)}$上的一个连续型均匀分布${\displaystyle \mathbb {P} =\mathbf {U} }$ 。一个随机变量序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$定义为：

${\displaystyle X_{1}=\mathbf {1} _{\left\{\omega \in [0,1)\right\}}=\mathbf {1} }$

${\displaystyle X_{2}=\mathbf {1} _{\left\{\omega \in [0,{\frac {1}{2}})\right\}},\qquad X_{3}=\mathbf {1} _{\left\{\omega \in [{\frac {1}{2}},1)\right\}}}$

${\displaystyle X_{4}=\mathbf {1} _{\left\{\omega \in [0,{\frac {1}{4}})\right\}},\qquad X_{5}=\mathbf {1} _{\left\{\omega \in [{\frac {1}{4}},{\frac {1}{2}})\right\}},\qquad X_{6}=\mathbf {1} _{\left\{\omega \in [{\frac {1}{2}},{\frac {3}{4}})\right\}},\qquad X_{7}=\mathbf {1} _{\left\{\omega \in [{\frac {3}{4}},1)\right\}}}$

${\displaystyle \cdots \;}$

${\displaystyle \forall (k,m)\in \mathbb {N} ,\,\,0\leqslant k\leqslant 2^{m}-1,\,\,X_{2^{m}+k}=\mathbf {1} _{\left\{\omega \in [{\frac {k}{2^{m}}},{\frac {k+1}{2^{m}}})\right\}}}$

由于

${\displaystyle \forall 2^{m}\leqslant n\leqslant 2^{m+1}-1,\,\,\mathbb {P} \left(|X_{n}-0|\geqslant \varepsilon \right)={\frac {1}{2^{m}}}}$

所以

${\displaystyle X_{n}{\xrightarrow {\mathbb {P} }}0}$，

另一方面，考虑${\displaystyle X_{2^{m}}}$到${\displaystyle X_{2^{m+1}-1}}$这一组随机变量，它们取值为1的集合的并集恰好是总区间，因此对每一个${\displaystyle \omega \in [0,1)}$，总会有${\displaystyle X_{2^{m}}}$到${\displaystyle X_{2^{m+1}-1}}$之间的某个变量${\displaystyle X_{2^{m}+k_{m}}}$，使得

${\displaystyle X_{2^{m}+k_{m}}(\omega )=1}$

所以，对任意一个${\displaystyle \omega \in [0,1)}$，

${\displaystyle \lim _{n\to \infty }|X_{n}(\omega )-0|\neq 0}$，

即是说，${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 并不依概率1收敛到0。从例子中可以看到，依概率收敛比依概率1收敛更为宽松的地方是：当n趋于无穷大的时候，只要偏离极限函数的${\displaystyle \omega }$（即是集合${\displaystyle \left\{\omega _{n};\,|X_{n}(\omega _{n})-X(\omega _{n})|\geqslant \varepsilon \right\}}$中的${\displaystyle \omega _{n}}$）“足够少”，就能使得依概率收敛成立了，这些${\displaystyle \omega _{n}}$的集合可以随着n不同而不同；而依概率1收敛则要求${\displaystyle \omega _{n}}$的集合固定地缩减至一个概率为0的集合。因此，依概率1收敛要比依概率收敛更为严格。

另一种收敛的定义与测度的积分有关。在积分理论中，如果两个函数${\displaystyle f}$ 和${\displaystyle g}$满足${\displaystyle \int _{\mathcal {I}}(f-g)^{2}d\mu =0}$，那么这两个函数在关于测度${\displaystyle \mu }$的平方可积空间中相等。随机变量的平方平均收敛与此相似：如果对平方可积的随机变量序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$，存在随机变量${\displaystyle X}$，使得${\displaystyle \lim _{n\to \infty }\mathbb {E} \left[(X_{n}-X)^{2}\right]=0}$，那么就说序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 平方平均收敛到${\displaystyle X}$，记作：

${\displaystyle X_{n}{\xrightarrow {\mathbf {L} ^{2}}}X}$

由于${\displaystyle \mathbf {L} ^{2}}$空间是完备的，极限${\displaystyle X}$也一定平方可积。

对于更一般的${\displaystyle \mathbf {L} ^{p}}$空间，也有类似的定义：如果对 ${\displaystyle \mathbf {L} ^{p}}$空间中的随机变量序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$，存在${\displaystyle \mathbf {L} ^{p}}$中的随机变量${\displaystyle X}$，使得${\displaystyle \lim _{n\to \infty }\mathbb {E} \left[|X_{n}-X|^{p}\right]=0}$，那么就说序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依${\displaystyle \mathbf {L} ^{p}}$收敛到${\displaystyle X}$，记作：

${\displaystyle X_{n}{\xrightarrow {\mathbf {L} ^{p}}}X}$

当常数${\displaystyle p=1}$时，也称为平均收敛。

依分布收敛是最宽松的收敛方式之一。这种收敛不要求查看每个${\displaystyle \omega }$，只要求序列的分布趋向于某个极限。直觉上，一个随机变量序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收敛到某个随机变量${\displaystyle X}$，如果：

对所有的${\displaystyle a}$，都有${\displaystyle \mathbb {P} (X_{n}\leqslant a)\rightarrow \mathbb {P} (X\leqslant a)}$。

更严格的定义是探讨随机变量${\displaystyle X_{n}}$的累积分布函数${\displaystyle F_{n}(x)=\mathbb {P} (X_{n}\leqslant x)}$。设有实值的随机变量序列 ${\displaystyle (X_{n};\,n\in \mathbb {N} )}$ 和某个随机变量${\displaystyle X}$（其累积分布函数为 ${\displaystyle F(x)}$），如果对${\displaystyle F(x)}$的每个连续点${\displaystyle x}$，都有${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x)}$，那么就说 ${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收敛到某个随机变量${\displaystyle X}$。记作：

${\displaystyle X_{n}{\xrightarrow[{n\to \infty }]{\mathcal {D}}}X}$ ，${\displaystyle X_{n}{\xrightarrow[{n\to \infty }]{\mathit {d}}}X}$ 或 ${\displaystyle X_{n}{\xrightarrow[{n\to \infty }]{\mathcal {L}}}X}$

由于依分布收敛只和随机变量的分布相关，所以也可以称一系列随机变量（依分布）收敛于某个分布。设${\displaystyle {\mathcal {L}}_{X}}$是极限${\displaystyle X}$的分布，那么依分布收敛也可以记作：

${\displaystyle X_{n}\ {\xrightarrow {d}}\ {\mathcal {L}}_{X},\,\,X_{n}\rightsquigarrow X}$ 或 ${\displaystyle {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X)}$

例如一个随机变量序列${\displaystyle (X_{n};\,n\in \mathbb {N} )}$依分布收敛到标准正态分布，就可以记作：

${\displaystyle X_{n}\ {\xrightarrow {d}}\ {\mathcal {N}}(0,1).}$

各个收敛的定义有强弱之分。一个收敛性强于另一个是指从前者可以推出后者。例如依概率收敛强于依分布收敛，即是说如果一列随机变量依概率收敛到某个极限，那么必定也依分布收敛到这个极限。具体来说，收敛性的强弱关系可以用下图来表示：

${\displaystyle {\begin{matrix}{\xrightarrow {L^{r}}}&{\underset {r>s\geq 1}{\Rightarrow }}&{\xrightarrow {L^{s}}}&&\\&&\Downarrow &&\\{\xrightarrow {a.s.}}&\Rightarrow &{\xrightarrow {\ p\ }}&\Rightarrow &{\xrightarrow {\ d\ }}\end{matrix}}}$

• 依概率1收敛可以推出依概率收敛[4]：

  ${\displaystyle X_{n}\ {\xrightarrow {a.s.}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {p}}\ X}$

• 依概率收敛可以推出存在依概率1收敛的子列${\displaystyle (k_{n})}$[5]：

  ${\displaystyle X_{n}\ {\xrightarrow {p}}\ X\quad \Rightarrow \quad X_{k_{n}}\ {\xrightarrow {a.s.}}\ X}$

• 依概率收敛可以推出依分布收敛[4]：

  ${\displaystyle X_{n}\ {\xrightarrow {p}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {d}}\ X}$

• 对任意的${\displaystyle r>0}$，${\displaystyle \mathbf {L} ^{r}}$-收敛可以推出依概率收敛：

  ${\displaystyle X_{n}\ {\xrightarrow {L^{r}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {p}}\ X}$

• 如果${\displaystyle r>s\geqslant 1}$，那么${\displaystyle \mathbf {L} ^{r}}$-收敛可以推出${\displaystyle \mathbf {L} ^{s}}$-收敛：

  ${\displaystyle X_{n}\ {\xrightarrow {L^{r}}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {L^{s}}}\ X,}$

• 如果序列${\displaystyle \left(X_{n};\,n\in \mathbb {N} \right)}$依分布收敛到常数c，那么它也依概率收敛到常数c[4]：

  ${\displaystyle X_{n}\ {\xrightarrow {d}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {p}}\ c,}$

• 如果序列${\displaystyle \left(X_{n};\,n\in \mathbb {N} \right)}$依分布收敛到随机变量${\displaystyle X}$，并且${\displaystyle X_{n}}$和${\displaystyle Y_{n}}$的差依概率收敛到0，那么${\displaystyle Y_{n}}$ 也依分布收敛到随机变量${\displaystyle X}$[4]：

  ${\displaystyle X_{n}\ {\xrightarrow {d}}\ X,\ \ |X_{n}-Y_{n}|\ {\xrightarrow {p}}\ 0\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {d}}\ X}$

• 如果序列${\displaystyle \left(X_{n};\,n\in \mathbb {N} \right)}$依分布收敛到随机变量${\displaystyle X}$，并且 序列${\displaystyle \left(Y_{n};\,n\in \mathbb {N} \right)}$依分布收敛到常数c，那么向量列${\displaystyle \left((X_{n},Y_{n});\,n\in \mathbb {N} \right)}$依分布收敛到随机变量${\displaystyle (X,c)}$[4]：

  ${\displaystyle X_{n}\ {\xrightarrow {d}}\ X,\ \ Y_{n}\ {\xrightarrow {d}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {d}}\ (X,c)}$

  参见

  • 勒贝格控制收敛定理
  • 单调收敛定理

  参考资料

  1. Dudley 2002，Chapter 9.2, page 287
  2. Dudley 2002
  3. Romano & Siegel 1985，Example 5.26
  4. van der Vaart 1998，Theorem 2.7
  5. Gut, Allan. . Theorem 3.4: Springer. 2005. ISBN 0387228330.

  参考书籍

  • Bickel, Peter J.; Klaassen, Chris A.J.; Ritov, Ya’acov; Wellner, Jon A. . New York: Springer-Verlag. 1998. ISBN 0387984739. 引文使用过时参数coauthors (帮助)
  • Billingsley, Patrick. . Wiley Series in Probability and Mathematical Statistics 2nd. Wiley. 1986.
  • Billingsley, Patrick. 2nd. John Wiley & Sons. 1999: 1–28. ISBN 0471197459.
  • Dudley, R.M. . Cambridge, UK: Cambridge University Press. 2002. ISBN 052180972X.
  • Grimmett, G.R.; Stirzaker, D.R. 2nd. Clarendon Press, Oxford. 1992: 271–285. ISBN 0-19-853665-8. 引文使用过时参数coauthors (帮助)
  • Jacobsen, M. 3rd. HCØ-tryk, Copenhagen. 1992: 18–20. ISBN 87-91180-71-6.
  • Ledoux, Michel; Talagrand, Michel. . Berlin: Springer-Verlag. 1991: xii+480. ISBN 3-540-52013-9. MR 1102015.
  • Romano, Joseph P.; Siegel, Andrew F. . Great Britain: Chapman & Hall. 1985. ISBN 0412989018. 引文使用过时参数coauthor (帮助)
  • van der Vaart, Aad W.; Wellner, Jon A. . New York: Springer-Verlag. 1996. ISBN 0387946403. 引文使用过时参数coauthor (帮助)
  • van der Vaart, Aad W. . New York: Cambridge University Press. 1998. ISBN 9780521496032.
  • Williams, D. . Cambridge University Press. 1991. ISBN 0521406056.
  • Wong, E.; Hájek, B. . New York: Springer–Verlag. 1985. 引文使用过时参数coauthors (帮助)