反向传播算法

每次迭代中的传播环节包含两步：

1. （前向传播阶段）将训练输入送入网络以获得激励响应；
2. （反向传播阶段）将激励响应同训练输入对应的目标输出求差，从而获得输出层和隐藏层的响应误差。

对于每个突触上的权重，按照以下步骤进行更新：

1. 将输入激励和响应误差相乘，从而获得权重的梯度；
2. 将这个梯度乘上一个比例并取反后加到权重上。

这个比例（百分比）将会影响到训练过程的速度和效果，因此成为「训练因子」。梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。

第 1 和第 2 阶段可以反复循环迭代，直到网络对输入的响应达到满意的预定的目标范围为止。

在给出反向传播算法的数学推导之前，我们举一个例子来培养关于神经元的真实输出与正确输出间的直观感受。考虑一个有两个输入单元、一个输出单元、没有隐藏单元的简单神经网络。每个神经元都使用输入的加权作为线性输出[note 1]。

具有2个输入单元和1个输出单元的一个简单的神经网络

在训练之前，我们将随机分配权重${\displaystyle w_{1},w_{2}}$。之后神经元根据训练实例进行学习。在此例中，训练集为 (${\displaystyle x_{1}}$, ${\displaystyle x_{2}}$, ${\displaystyle t}$)，其中 ${\displaystyle x_{1}}$ 与 ${\displaystyle x_{2}}$ 是网络的输入，${\displaystyle t}$ 为正确输出（在给定相同的输入时网络最终应当产生的输出）。网络在给定 ${\displaystyle x_{1}}$ 和 ${\displaystyle x_{2}}$ 时，会计算一个输出 ${\displaystyle y}$，很可能与 ${\displaystyle t}$ 不同（因为权重最初是随机的）。为了衡量期望输出 ${\displaystyle t}$ 与实际输出 ${\displaystyle y}$ 之间的差异，一个常用的方法是采用平方误差测度：

${\displaystyle E=(t-y)^{2}\,}$,

其中 ${\displaystyle E}$ 为误差。

举例来讲，考虑单一训练实例的网络：${\displaystyle (1,1,0)}$，输入 ${\displaystyle x_{1}}$ 与 ${\displaystyle x_{2}}$ 均为1，正确输出 ${\displaystyle t}$ 为 0。现在若将实际输出 ${\displaystyle y}$ 画在x轴，误差 ${\displaystyle E}$ 画在 ${\displaystyle y}$ 轴，得出的是一条抛物线。抛物线的极小值对应输出 ${\displaystyle y}$，最小化了误差 ${\displaystyle E}$。对于单一训练实例，极小值还会接触到 ${\displaystyle x}$ 轴，这意味着误差为零，网络可以产生与期望输出 ${\displaystyle t}$ 完全匹配的输出 ${\displaystyle y}$。因此，把输入映射到输出的问题就化为了一个找到一个能产生最小误差的函数的最佳化問題。

单一训练实例的线性神经元的误差曲面。

然而，一个神经元的输出取决于其所有输入的加权总和：

${\displaystyle y=x_{1}w_{1}+x_{2}w_{2}}$,

其中 ${\displaystyle w_{1}}$ 和 ${\displaystyle w_{2}}$ 是从输入单元到输出单元相连的权重。因此，误差取决于输入到该神经元的权重，也是网络要学习最终需要改变的。若每个权重都画在一个水平的轴上，而误差画在垂直轴上，得出的就是一个抛物面（若一个神经元有 ${\displaystyle k}$ 个权重，则误差曲面的維度就会是 ${\displaystyle k+1}$，因而就是二维抛物线的 ${\displaystyle k+1}$ 维等价）。

两个输入误差的神经元的误差曲面

反向传播算法的目的是找到一组能最大限度地减小误差的权重。寻找抛物线或任意维度中的任何函数的极大值的方法有若干种。其中一种方法是通过求解方程组，但这依赖于网络是一个線性系統，而目标也需要可以训练多层非線性网络（因为多层线性网络与单层网络等价）。在反向传播中使用的方法是梯度下降法。

梯度下降法背后的直观感受可以用假设情境进行说明。一个被卡在山上的人正在试图下山（即试图找到极小值）。大雾使得能见度非常低。因此，下山的道路是看不见的，所以他必须利用局部信息来找到极小值。他可以使用梯度下降法，该方法涉及到察看在他当前位置山的陡峭程度，然后沿着负陡度（即下坡）最大的方向前进。如果他要找到山顶（即极大值）的话，他需要沿着正陡度（即上坡）最大的方向前进。使用此方法，他会最终找到下山的路。不过，要假设山的陡度不能通过简单地观察得到，而需要复杂的工具测量，而这个工具此人恰好有。需要相当长的一段时间用仪器测量山的陡峭度，因此如果他想在日落之前下山，就需要最小化仪器的使用率。问题就在于怎样选取他测量山的陡峭度的频率才不致偏离路线。

在这个类比中，此人代表反向传播算法，而下山路径表示能使误差最小化的权重集合。山的陡度表示误差曲面在该点的斜率。他要前行的方向对应于误差曲面在该点的梯度。用来测量陡峭度的工具是微分（误差曲面的斜率可以通过对平方误差函数在该点求导数计算出来）。他在两次测量之间前行的距离（与测量频率成正比）是算法的学习速率。参见限制一节中对此类型“爬山”算法的限制的讨论。

计算误差对权重 ${\displaystyle w_{ji}}$ 的偏导数是两次使用链式法则得到的：

${\displaystyle {\frac {\partial E}{\partial w_{ji}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial \mathrm {net_{j}} }}{\frac {\partial \mathrm {net_{j}} }{\partial w_{ji}}}}$

在右边的最后一项中，只有加权和 ${\displaystyle \mathrm {net_{j}} }$ 取决于 ${\displaystyle w_{ji}}$，因此

${\displaystyle {\frac {\partial \mathrm {net_{j}} }{\partial w_{ji}}}={\frac {\partial }{\partial w_{ji}}}\left(\sum _{k=1}^{n}w_{jk}o_{k}\right)=o_{i}}$.

神经元 ${\displaystyle j}$ 的输出对其输入的导数就是激活函数的偏导数（这里假定使用逻辑函数）：

${\displaystyle {\frac {\partial o_{j}}{\partial \mathrm {net_{j}} }}={\frac {\partial }{\partial \mathrm {net_{j}} }}\varphi (\mathrm {net_{j}} )=\varphi (\mathrm {net_{j}} )(1-\varphi (\mathrm {net_{j}} ))}$

这就是为什么反向传播需要的激活函数是可微的。

如果神经元在输出层中，因为此时 ${\displaystyle o_{j}=y}$ 以及

${\displaystyle {\frac {\partial E}{\partial o_{j}}}={\frac {\partial E}{\partial y}}={\frac {\partial }{\partial y}}{\frac {1}{2}}(t-y)^{2}=y-t}$

所以第一项可以直接算出。

但如果 ${\displaystyle j}$ 是网络中任一内层，求 ${\displaystyle E}$ 关于 ${\displaystyle o_{j}}$ 的导数就不太简单了。

考虑 ${\displaystyle E}$ 为接受来自神经元 ${\displaystyle j}$ 的输入的所有神经元 ${\displaystyle L={u,v,\dots ,w}}$ 的输入的函数，

${\displaystyle {\frac {\partial E(o_{j})}{\partial o_{j}}}={\frac {\partial E(\mathrm {net} _{u},\mathrm {net} _{v},\dots ,\mathrm {net} _{w})}{\partial o_{j}}}}$

并关于 ${\displaystyle o_{j}}$ 取全微分，可以得到该导数的一个递归表达式：

${\displaystyle {\frac {\partial E}{\partial o_{j}}}=\sum _{l\in L}\left({\frac {\partial E}{\partial \mathrm {net} _{l}}}{\frac {\partial \mathrm {net} _{l}}{\partial o_{j}}}\right)=\sum _{l\in L}\left({\frac {\partial E}{\partial o_{l}}}{\frac {\partial o_{l}}{\partial \mathrm {net} _{l}}}{\frac {\partial \mathrm {net} _{l}}{\partial o_{j}}}\right)=\sum _{l\in L}\left({\frac {\partial E}{\partial o_{l}}}{\frac {\partial o_{l}}{\partial \mathrm {net} _{l}}}w_{lj}\right)}$

因此，若已知所有关于下一层（更接近输出神经元的一层）的输出 ${\displaystyle o_{l}}$ 的导数，则可以计算 ${\displaystyle o_{j}}$ 的导数。

把它们放在一起：

${\displaystyle {\dfrac {\partial E}{\partial w_{ji}}}=o_{i}\delta _{j}}$

其中

${\displaystyle \delta _{j}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial \mathrm {net_{j}} }}={\begin{cases}(o_{j}-t_{j})\varphi ({\mbox{net}}_{j})(1-\varphi ({\mbox{net}}_{j}))&{\mbox{if }}j{\mbox{ is an output neuron,}}\\(\sum _{l\in L}\delta _{l}w_{lj})\varphi ({\mbox{net}}_{j})(1-\varphi ({\mbox{net}}_{j}))&{\mbox{if }}j{\mbox{ is an inner neuron.}}\end{cases}}}$

要使用梯度下降法更新 ${\displaystyle w_{ji}}$，必须选择一个学习速率 ${\displaystyle \alpha }$。要加在原本的权重上的权重的变化，等于学习速率与梯度的乘积，乘以 ${\displaystyle -1}$：

${\displaystyle \Delta w_{ji}=-\alpha {\frac {\partial E}{\partial w_{ji}}}}$

之所以要乘以 ${\displaystyle \textstyle -1}$ 是因为要更新误差函数极小值而不是极大值的方向。

对于单层网络，这个表达式变为Delta规则。 要想更好地理解反向传播是如何起作用的，下面是一个例子来说明它：The Back Propagation Algorithm，12页。