似然函数

圖1. 两次投掷都正面朝上时的似然函数

考虑投掷一枚硬币的实验。通常来说，已知掷出一枚“公平的硬币”（正面朝上和反面朝上的概率都为0.5）, 即正面(Head)朝上的概率为${\displaystyle p_{H}=0.5}$，便可以知道投掷若干次后出现各种结果的可能性。

比如说，投两次都是正面朝上的概率是0.25。用条件概率表示，就是：

${\displaystyle P({\mbox{HH}}\mid p_{H}=0.5)=0.5^{2}=0.25}$

其中H表示正面朝上。

如果一个硬币的质量分布不够均匀, 那么它可能是一枚"非公平的硬币"

在统计学中，我们关心的是在已知一系列投掷的结果时，关于硬币投掷时正面朝上的可能性的信息。
我们可以建立一个统计模型：假设硬币投出时会有${\displaystyle p_{H}}$的概率正面朝上，而有${\displaystyle 1-p_{H}}$的概率反面朝上。
这时，通过观察已发生的两次投掷，条件概率可以改写成似然函数：

${\displaystyle L(p_{H}\mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=0.5)=0.25}$

也就是说，对于取定的似然函数，在观测到两次投掷都是正面朝上时，${\displaystyle p_{H}=0.5}$的似然性是0.25。注意，反之并不成立，即当似然函数为0.25时不能推论出 ${\displaystyle p_{H}=0.5}$。

如果考虑${\displaystyle p_{H}=0.6}$，那么似然函数的值也会改变。

${\displaystyle L(p_{H}\mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=0.6)=0.36}$

圖2. 三次投掷中头两次正面朝上，第三次反面朝上时的似然函数

如圖1所示，注意到似然函数的值变大了。
这说明，如果参数${\displaystyle p_{H}}$的取值变成0.6的话，结果观测到连续两次正面朝上的概率要比假设${\displaystyle p_{H}=0.5}$时更大。也就是说，参数${\displaystyle p_{H}}$取成0.6要比取成0.5更有说服力，更为“合理”。
总之，似然函数的重要性不是它的具体取值，而是当参数变化时函数到底变小还是变大。

      对同一个似然函数，其所代表的模型中，某项参数值具有多种可能，但如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是该项参数最为“合理”的参数值。

在这个例子中，如圖1所示，似然函数实际上等于：

${\displaystyle L(\theta \mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=\theta )=\theta ^{2}}$，其中${\displaystyle 0\leq p_{H}\leq 1}$。

如果取${\displaystyle p_{H}=1}$，那么似然函数达到最大值1。也就是说，当连续观测到两次正面朝上时，假设硬币投掷时正面朝上的概率为1是最合理的。

类似地，如果观测到的是三次投掷硬币，头两次正面朝上，第三次反面朝上，如圖2所示，那么似然函数将会是：

${\displaystyle L(\theta \mid {\mbox{HHT}})=P({\mbox{HHT}}\mid p_{H}=\theta )=\theta ^{2}(1-\theta )}$，其中T表示反面朝上，${\displaystyle 0\leq p_{H}\leq 1}$。

这时候，似然函数的最大值将会在${\displaystyle p_{H}={\frac {2}{3}}}$的时候取到。也就是说，当观测到三次投掷中前两次正面朝上而后一次反面朝上时，估计硬币投掷时正面朝上的概率${\displaystyle p_{H}={\frac {2}{3}}}$是最合理的。

• 史蒂芬·史蒂格勒. . Journal of the Royal Statistical Society. Series A (General) 141. 1978: 287–322. Stable URL: http://www.jstor.org/stable/2344804页面存档备份，存于
• Stephen Stigler. . Harvard University Press. ISBN 0-674-40340-1.
• Stephen Stigler. . Harvard University Press. ISBN 0-674-83601-4.
• Anders Hald. . Statistical Science 14. 1999年5月: 214–222. Stable URL: http://www.jstor.org/stable/2676741页面存档备份，存于
• Hald, A. . New York: Wiley. 1998.