正态分布

常態分布最早是棣莫弗在1718年著作的書籍的（），及1734年發表的一篇關於二項分布文章中提出的，當二項隨機變數的位置參數n很大及形狀參數p為1/2時，則所推導出二項分布的近似分布函數就是常態分布。拉普拉斯在1812年发表的《分析概率论》（）中對棣莫佛的結論作了擴展到二項分布的位置參數為n及形狀參數為1>p>0時。現在这一结论通常被稱為棣莫佛－拉普拉斯定理。

拉普拉斯在誤差分析試驗中使用了常態分布。勒讓德於1805年引入最小二乘法這一重要方法；而高斯則宣稱他早在1794年就使用了該方法，並通過假設誤差服從常態分布給出了嚴格的證明。

「鐘形曲線」這個名字可以追溯到Jouffret他在1872年首次提出這個術語「鐘形曲面」，用來指代二元常態分布（bivariate normal）。正态分布這個名字還被Charles S. Peirce、Francis Galton、Wilhelm Lexis在1875分别獨立地使用。這個術語是不幸的，因為它反映和鼓勵了一種謬誤，即很多概率分布都是常態的。（請參考下面的「實例」）

這個分布被稱為「常態」或者「高斯」正好是Stigler名字由來法則的一個例子，這個法則說「沒有科學發現是以它最初的發現者命名的」。

四个不同参数集的概率密度函数（紅色线代表标准正态分布）

常態分布的概率密度函數均值為${\displaystyle \mu }$ 方差為${\displaystyle \sigma ^{2}}$ (或標準差${\displaystyle \sigma }$)是高斯函數的一個實例：

${\displaystyle f(x;\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}\,\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$。

(請看指數函數以及${\displaystyle \pi }$.)

如果一個隨機變量${\displaystyle X}$服從這個分布，我們寫作 ${\displaystyle X}$ ~ ${\displaystyle N(\mu ,\sigma ^{2})}$. 如果${\displaystyle \mu =0}$並且${\displaystyle \sigma =1}$，這個分布被稱為標準正态分布，這個分布能夠簡化為

${\displaystyle f(x)={\frac {1}{\sqrt {2\pi }}}\,\exp \left(-{\frac {x^{2}}{2}}\right)}$。

右邊是給出了不同參數的正态分布的函數圖。

正态分布中一些值得注意的量：

• 密度函數關於平均值對稱
• 平均值與它的眾數（statistical mode）以及中位數（median）同一數值。
• 函數曲線下68.268949%的面積在平均數左右的一個標準差範圍內。
• 95.449974%的面積在平均數左右兩個標準差${\displaystyle 2\sigma }$的範圍內。
• 99.730020%的面積在平均數左右三個標準差${\displaystyle 3\sigma }$的範圍內。
• 99.993666%的面積在平均數左右四個標準差${\displaystyle 4\sigma }$的範圍內。
• 函數曲線的拐點（inflection point）為離平均數一個標準差距離的位置。

上图所示的機率密度函数的累積分布函數

累積分布函數是指隨機變數${\displaystyle X}$小於或等於${\displaystyle x}$的機率，用機率密度函數表示為

${\displaystyle F(x;\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}\int _{-\infty }^{x}\exp \left(-{\frac {(t-\mu )^{2}}{2\sigma ^{2}}}\ \right)\,dt.}$

常態分布的累積分布函数能够由一個叫做误差函数的特殊函数表示：

${\displaystyle \Phi (z)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {z-\mu }{\sigma {\sqrt {2}}}}\right)\right].}$

標準常態分布的累積分布函數習慣上記為${\displaystyle \Phi }$，它僅僅是指${\displaystyle \mu =0}$，${\displaystyle \sigma =1}$時的值，

${\displaystyle \Phi (x)=F(x;0,1)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}\exp \left(-{\frac {t^{2}}{2}}\right)\,dt.}$

將一般常態分布用誤差函數表示的公式简化，可得：

${\displaystyle \Phi (z)={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {z}{\sqrt {2}}}\right)\right].}$

它的反函數被稱為反誤差函數，為：

${\displaystyle \Phi ^{-1}(p)={\sqrt {2}}\;\operatorname {erf} ^{-1}\left(2p-1\right).}$

該分位數函數有時也被稱為probit函數。probit函數已被證明沒有初等原函数。

常態分布的分布函數${\displaystyle \Phi (x)}$沒有解析表達式，它的值可以通過數值積分、泰勒級數或者漸進序列近似得到。

動差生成函數，或稱動差母函數被定義為${\displaystyle \exp(tX)}$的期望值。

常態分布的動差產生函數如下：

${\displaystyle M_{X}(t)\,}$	${\displaystyle =\mathrm {E} \left(e^{tX}\right)}$
	${\displaystyle =\int _{-\infty }^{\infty }{\frac {1}{\sigma {\sqrt {2\pi }}}}e^{\left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}e^{tx}\,dx}$
	${\displaystyle =e^{\left(\mu t+{\frac {\sigma ^{2}t^{2}}{2}}\right)}}$

可以通過在指數函數內配平方得到。

特徵函數被定義為${\displaystyle \exp(itX)}$的期望值，其中${\displaystyle i}$是虛數單位. 對於一個常态分布來講，特徵函數是：

${\displaystyle \phi _{X}(t;\mu ,\sigma )\!}$	${\displaystyle =\mathrm {E} \left[\exp(itX)\right]}$
	${\displaystyle =\int _{-\infty }^{\infty }{\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)\exp(itx)\,dx}$
	${\displaystyle =\exp \left(i\mu t-{\frac {\sigma ^{2}t^{2}}{2}}\right).}$

把矩生成函數中的${\displaystyle t}$換成${\displaystyle it}$就能得到特徵函數。

一些常態分布的一階動差如下：

階數	原動差	中心矩	累積量
0	1	0
1	${\displaystyle \mu }$	0	${\displaystyle \mu }$
2	${\displaystyle \mu ^{2}+\sigma ^{2}}$	${\displaystyle \sigma ^{2}}$	${\displaystyle \sigma ^{2}}$
3	${\displaystyle \mu ^{3}+3\mu \sigma ^{2}}$	0	0
4	${\displaystyle \mu ^{4}+6\mu ^{2}\sigma ^{2}+3\sigma ^{4}}$	${\displaystyle 3\sigma ^{4}}$	0

標準常態的所有二階以上的累積量為零。

正态分布的概率密度函數，參數為μ = 12，σ = 3，趨近於n = 48、p = 1/4的二項分布的概率質量函數。

常態分布有一個非常重要的性質：在特定條件下，大量統計獨立的隨機變量的平均值的分布趨於正态分布，這就是中央極限定理。中央極限定理的重要意義在於，根據這一定理的結論，其他概率分布可以用正态分布作為近似。

• 參數為${\displaystyle n}$和${\displaystyle p}$的二項分布，在${\displaystyle n}$相當大而且${\displaystyle p}$接近0.5時近似於正态分布（有的參考書建議僅在${\displaystyle np}$與${\displaystyle n(1-p)}$至少為5時才能使用這一近似）。

近似正态分布平均數為${\displaystyle \mu =np}$且方差為${\displaystyle \sigma ^{2}=np(1-p)}$.

• 一泊松分布帶有參數${\displaystyle \lambda }$當取樣樣本數很大時將近似正态分布${\displaystyle \lambda }$.

近似正态分布平均數為${\displaystyle \mu =\lambda }$且方差為${\displaystyle \sigma ^{2}=\lambda }$.

這些近似值是否完全充分正確取決於使用者的使用需求

正态分布是無限可分的概率分布。

正态分布是嚴格穩定的概率分布。

深藍色區域是距平均值小於一個標準差之內的數值範圍。在常態分布中，此範圍所佔比率為全部數值之68%，根據常態分布，兩個標準差之內的比率合起來為95%；三個標準差之內的比率合起來為99%。

在實際應用上，常考慮一組數據具有近似於常態分布的機率分布。若其假設正確，則約68.3%數值分布在距離平均值有1個標準差之內的範圍，約95.4%數值分布在距離平均值有2個標準差之內的範圍，以及約99.7%數值分布在距離平均值有3個標準差之內的範圍。稱為「68-95-99.7法則」或「經驗法則」。

多元正态分布的協方差矩陣的估計的推導是比較難於理解的。它需要瞭解譜原理（spectral theorem）以及為什麼把一個標量看做一個1×1矩阵(matrix)的迹(trace)而不僅僅是一個標量更合理的原因。請參考協方差矩陣的估計（estimation of covariance matrices）.

某飲料公司裝瓶流程嚴謹，每罐飲料裝填量符合平均600毫升，標準差3毫升的常態分配法則。隨機選取一罐，求（1）容量超過605毫升的機率；（2）容量小於590毫升的機率。

容量超過605毫升的機率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 1 - 0.9525 = 0.0475

容量小於590毫升的機率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004

6-標準差(6-sigma或6-σ)的品質管制標準

6-標準差(6-sigma或6-σ)，是製造業流行的品質管制標準。在這個標準之下，一個標準常態分配的變數值出現在正負三個標準差之外，只有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是說，這種品質管制標準的產品不良率只有萬分之二十六。假設例中的飲料公司裝瓶流程採用這個標準，而每罐飲料裝填量符合平均600毫升，標準差3毫升的常態分配。那么預期裝填容量的範圍應該多少？

6-標準差的範圍 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609) 因此，預期裝填容量應該介於591至609毫升之間。

假設某校入學新生的智力測驗平均分數與标准差分別為100與12。那麼隨機抽取50個學生，他們智力測驗平均分數大於105的機率？小於90的機率？

本例沒有常態分配的假設，還好中央極限定理提供一個可行解，那就是當隨機樣本長度超過30，樣本平均數${\displaystyle {\bar {x}}}$近似於一個常態變數，

因此標準常態變數${\displaystyle Z={\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}}$。

平均分數大於105的機率 ${\displaystyle P(Z>{\frac {105-100}{12/{\sqrt {50}}}})=P(Z>5/1.7)=P(Z>2.94)=0.0016}$

平均分數小於90的機率 ${\displaystyle P(Z<{\frac {90-100}{12/{\sqrt {50}}}})=P(Z<-5.88)=0.0000}$

在计算机模拟中，经常需要生成正态分布的数值。最基本的一个方法是使用标准的正态累积分布函数的反函数。除此之外还有其他更加高效的方法，Box-Muller变换就是其中之一。另一个更加快捷的方法是ziggurat算法。下面将介绍这两种方法。一个简单可行的并且容易编程的方法是：求12个在（0,1）上均匀分布的和，然后减6(12的一半)。这种方法可以用在很多应用中。这12个数的和是Irwin-Hall分布；选择一个方差12。这个随即推导的结果限制在（-6,6）之间，并且密度为12，是用11次多项式估计正态分布。

Box-Muller方法是以两组独立的随机数U和V，这两组数在(0,1]上均匀分布，用U和V生成两组独立的标准常态分布随机变量X和Y:

${\displaystyle X={\sqrt {-2\ln U}}\,\cos(2\pi V),}$

${\displaystyle Y={\sqrt {-2\ln U}}\,\sin(2\pi V)}$。

这个方程的提出是因为二自由度的卡方分布（见性质4）很容易由指数随机变量（方程中的lnU）生成。因而通过随机变量V可以选择一个均匀环绕圆圈的角度，用指数分布选择半径然后变换成（正态分布的）x,y坐标。