协方差矩阵

假设${\displaystyle X}$是以${\displaystyle n}$个随机变量组成的列向量，

${\displaystyle \mathbf {X} ={\begin{bmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{bmatrix}}}$

并且${\displaystyle \mu _{i}}$是${\displaystyle X_{i}}$的期望值，即, ${\displaystyle \mu _{i}=\mathrm {E} (X_{i})}$。协方差矩阵的第${\displaystyle (i,j)}$項（第${\displaystyle (i,j)}$項是一个协方差）被定义为如下形式：

${\displaystyle \Sigma _{ij}=\mathrm {cov} (X_{i},X_{j})=\mathrm {E} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}}$

而协方差矩阵为：

${\displaystyle \Sigma =\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)^{\rm {T}}\right]}$

${\displaystyle ={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}}$

矩阵中的第${\displaystyle (i,j)}$个元素是${\displaystyle X_{i}}$与${\displaystyle X_{j}}$的共變異數。这个概念是对于标量随机变量方差的一般化推广。

共變異數矩阵有不同的术语。有些统计学家，沿用了概率学家威廉·费勒的说法，把这个矩阵称之为随机向量${\displaystyle X}$的變異數（Variance of random vector X），这是从一维随机变量方差到高维随机向量的自然推广。另外一些则把它称为共變異數矩阵（Covariance matrix），因为它是随机向量里头每个标量元素的协方差的矩阵（或者说它是多维随机变量各维度两两之间的协方差组合而成的矩阵）。不幸的是，这两种术语带来了一定程度上的冲突：

随机向量${\displaystyle X}$的方差（Variance of random vector X）定义有如下两种形式：

${\displaystyle \operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} )=\mathrm {E} \left[(\mathbf {X} -\mathrm {E} [\mathbf {X} ])(\mathbf {X} -\mathrm {E} [\mathbf {X} ])^{\rm {T}}\right].}$

协方差矩阵（Covariance matrix）定义如下：

${\displaystyle \operatorname {cov} ({\textbf {X}},{\textbf {Y}})=\mathrm {E} \left[({\textbf {X}}-\mathrm {E} [{\textbf {X}}])({\textbf {Y}}-\mathrm {E} [{\textbf {Y}}])^{\top }\right]}$

第一个记号可以在威廉·费勒的广受推崇的两册概率论及其应用的书中找到。两个术语除了记法之外并没有不同。

${\displaystyle \Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{\top }\right]}$ 与${\displaystyle \mu =\mathrm {E} ({\textbf {X}})}$ 满足下边的基本性质：

1. ${\displaystyle \Sigma =\mathrm {E} (\mathbf {XX^{\top }} )-\mathbf {\mu } \mathbf {\mu ^{\top }} }$
2. ${\displaystyle \Sigma }$是半正定的和对称的矩阵。
3. ${\displaystyle \operatorname {var} (\mathbf {a^{\top }} \mathbf {X} )=\mathbf {a^{\top }} \operatorname {var} (\mathbf {X} )\mathbf {a} }$
4. ${\displaystyle \mathbf {\Sigma } \geq 0}$
5. ${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \operatorname {var} (\mathbf {X} )\mathbf {A^{\top }} }$
6. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }}$
7. ${\displaystyle \operatorname {cov} (\mathbf {X_{1}} +\mathbf {X_{2}} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {X_{2}} ,\mathbf {Y} )}$
8. 若 ${\displaystyle p=q}$，則有${\displaystyle \operatorname {cov} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )}$
9. ${\displaystyle \operatorname {cov} (\mathbf {AX} ,\mathbf {BX} )=\mathbf {A} \operatorname {cov} (\mathbf {X} ,\mathbf {X} )\mathbf {B} ^{\top }}$
10. 若${\displaystyle \mathbf {X} }$ 与${\displaystyle \mathbf {Y} }$ 是独立的，則有${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=0}$
11. ${\displaystyle \Sigma =\Sigma ^{\top }}$

其中 ${\displaystyle \mathbf {X} ,\mathbf {X_{1}} }$ 与${\displaystyle \mathbf {X_{2}} }$ 是随机${\displaystyle \mathbf {(p\times 1)} }$向量, ${\displaystyle \mathbf {Y} }$ 是随机${\displaystyle \mathbf {(q\times 1)} }$向量, ${\displaystyle \mathbf {a} }$ 是${\displaystyle \mathbf {(p\times 1)} }$ 向量, ${\displaystyle \mathbf {A} }$ 与${\displaystyle \mathbf {B} }$ 是${\displaystyle \mathbf {(q\times p)} }$ 矩阵。

尽管共變異數矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。 这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

均值为${\displaystyle \mu }$的複随机标量变量的方差定义如下（使用共轭複数）：

${\displaystyle \operatorname {var} (z)=\operatorname {E} \left[(z-\mu )(z-\mu )^{*}\right]}$

其中复数${\displaystyle z}$的共轭记为${\displaystyle z^{*}}$。

如果${\displaystyle Z}$ 是一个复列向量,则取其共轭转置，得到一个方阵:

${\displaystyle \operatorname {E} \left[(Z-\mu )(Z-\mu )^{*}\right]}$

其中${\displaystyle Z^{*}}$为共轭转置, 它对于标量也成立，因为标量的转置还是标量。

多元正态分布的共變異數矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做${\displaystyle 1\times 1}$矩阵的迹更好的原因。参见共變異數矩阵的估计。

• Covariance Matrix页面存档备份，存于 at Mathworld