迴歸分析

回归的最早形式是最小二乘法，由1805年的勒让德(Legendre)[1]，和1809年的高斯(Gauss)出版[2]。勒让德和高斯都将该方法应用于从天文观测中确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。 高斯在1821年发表了最小二乘理论的进一步发展[3]，包括高斯－马尔可夫定理的一个版本。

「迴歸」一詞最早由法蘭西斯·高爾頓（Francis Galton）所使用[4][5]。他曾對親子間的身高做研究，發現父母的身高雖然會遺傳給子女，但子女的身高卻有逐漸「迴歸到中等（即人的平均值）」的現象。不過當時的迴歸和現在的迴歸在意義上已不盡相同。

在1950年代和60年代，经济学家使用机械电子桌面计算器来计算回归。在1970年之前，它有时需要长达24小时从一个回归接收结果[6]。

• 目的在於找出一條最能夠代表所有觀測資料的函數曲线（迴歸估計式）。
• 用此函數代表因變數和自變數之間的關係。

回归模型主要包括以下变量：

• 未知参数，记为${\displaystyle \beta }$，可以代表一个标量或一个向量。
• 自变量，${\displaystyle \mathbf {X} }$。
• 因变量，${\displaystyle Y}$。

回归模型将${\displaystyle Y}$和一个关于${\displaystyle \mathbf {X} }$和${\displaystyle \beta }$的函数关联起来。

在不同的应用领域有各自不同的术语代替这里的“自变量”和“因变量”。

${\displaystyle Y\approx f(\mathbf {X} ,{\boldsymbol {\beta }})}$

这个估计值通常写作:${\displaystyle E(X|Y)=f(\mathbf {X} ,{\boldsymbol {\beta }})}$。

在进行回归分析时，函数${\displaystyle f}$的形式必须预先指定。有时函数${\displaystyle f}$的形式是在对${\displaystyle Y}$和${\displaystyle \mathbf {X} }$关系的已有知识上建立的，而不是在数据的基础之上。如果没有这种已有知识，那么就要选择一个灵活和便于回归的${\displaystyle f}$的形式。

假设现在未知向量${\displaystyle \beta }$的维数为k。为了进行回归分析，必须要先有关于${\displaystyle Y}$的信息：

• 如果以${\displaystyle (Y,\mathbf {X} )}$的形式给出了${\displaystyle N}$个数据点，当${\displaystyle N<k}$时，大多数传统的回归分析方法都不能进行，因为数据量不够导致回归模型的系统方程不能完全确定${\displaystyle \beta }$。
• 如果恰好有${\displaystyle N=k}$个数据点，并且函数${\displaystyle f}$的形式是线性的，那么方程${\displaystyle Y=f(\mathbf {X} ,{\boldsymbol {\beta }})}$能精确求解。这相当于解一个有${\displaystyle N}$个未知量和${\displaystyle N}$个方程的方程组。在${\displaystyle \mathbf {X} }$线性无关的情况下，这个方程组有唯一解。但如果${\displaystyle f}$是非线性形式的，解可能有多个或不存在。
• 实际中${\displaystyle N>k}$的情况占大多数。这种情况下，有足够的信息用于估计一个与数据最接近的${\displaystyle \beta }$值，这时当回归分析应用于这些数据时，可以看作是解一个关于${\displaystyle \beta }$的超定方程。

在最后一种情况下，回归分析提供了一种完成以下任务的工具： ⒈找出一个未知量${\displaystyle \beta }$的解使因变量${\displaystyle Y}$的预测值和实际值差别最小(又称最小二乘法)。

⒉在特定统计假设下，回归分析使用数据中的多余信息给出关于因变量${\displaystyle Y}$和未知量${\displaystyle \beta }$之间的关系。

1. 解讀迴歸分析的原理及結構