开发工具:
文件大小: 242kb
下载次数: 0
上传时间: 2019-03-03
详细说明：哈工大模式识别讲义BP算法讲义，哈工大研究生课程资源(8)
∑(-)‘(
将(7)和(8)代入(6)
∑
C
定义δ
∑6,则可以得到平方误差关于隐含层神经元参数和的梯度:
0
(9)
输入层隐含层输出层
O○O
wid
佟2隐含层神经元权值的学习
由公式(5)和(9),我们得到了平方误差函数E关于输出层和隐含层参数的梯度。注
意到输出层需要计算的主要是每个节点的δ=()(),某种程度上这可以看作是
输出节点上的误差;而隐含层个节点计算8=()∑。时需要用到所有输出层节
点的误差δ,这也可以看作是隐含层节点的误差。由于隐含层节点的误差需要由输出层节
点的误差反冋计算得到,因此多层感知器网终参数的学习算法也被称为误差反向传播算法
( Backpropagation Alogrithm,BP算法)。
算法(算法)
LM算法是·种专门适合于平方误差优化函数的方法。首先,我们需要将全部个训练
样本在个网络输出神经元上的期望输出和实际输出写成矢量形式:
11,1,21:5
其中和分别为第个训练样本在第个输出神绎元上的期望输出和实际输出。定乂
维矢量:v(w)=t-z,对比公式(1)可以看出,平方误差优化函数的优化问题可以表示
为:
min(w)=v(w)v(w)
优化函数的梯度
V(w)=
v(w)=J(w)v(w)
(10)
Cw
其中J(w)为失量v关于w的 Jacobian矩阵,为网络权值数
01(w)
2
(w)a(w a(w
进一步计算优化函数(w)的 Hessian矩阵:
O
H
S(w)=J(w)J(w)+S(w)
其中S(w)由 Jacobian矩阵关于w的微分和v(w)计算,如果假设S(w)很小,则可以得
到 Hessian矩阵的近似
H≈J(w)J(w)
(11)
由此可以看出, Hessian矩阵可以由 Jacobian矩阵近似计算。将(10)和(11)式带入
到牛顿法的权值增量计算公式:
(( w)(w))J(w)v(w)
12)
oW
按照这种方式计算的优点是无需计算二阶导数矩阵H,但可以近似得到二阶优化的效
果,这种方法一般称为高斯牛顿法。
在实际应用中矩阵J(w)J(w)可能是不可逆的,所以一般采用如下方式计算权值矢量
的增量:
Aw=-(j(w)j(w)+ul)j(w)v(w
其中Ⅰ是单位矩阵,μ>0。算法的每一轮迭代中尝试不同4,在保证矩阵可逆的糸件
下使得u尽量小,这种方法一般称为 Levenberg- Marquardt算法。
Jacobian矩阵J(w)的维数为×,当样本很多时维数会很大。但在算法实现时可以
直接计算x维矩阵了(w)J(w)和维矢量了(w)v(w),因此存储复杂度只是(2)
Jacobian矩阵中每个元素的计算类似于BP算法对w中每个元素导数的计算,也需要一
个由输出层到各个隐含层的反馈过程,由于只是一次项,因此还要简单一些。
LM算法避免了直接计算 Hessian矩阵,但仍然需要计算×维矩阵的逆阵,每一轮
达代的计算复杂度比BP算法要高得多。但由于近似实现了二阶优化技术,达代次数会远远
少于BP算法,所以学习过程的收敛速度一般明显快于梯度下降的BP算法。LM算法的存
储复杂度和计算复杂度都与相关,因此一般适用于网络规模不大,参数数量适中的问题。
快速传播算法
的推导
训练中,假设各个权值相互独立的,可以单独进行训练,而且误差函数为权值的次
区数:
误差函数()对权值求导数:
分别表示第
步迭代时的权值,Δ()△(+)为第
步迭代时的权值增量,则:
△
+△
计算第步的最优权值增量∧
),希望在第步迭代之后,权值由变为
而,到达误差函数()的最小值点,因此有
将式代入:
+△
因此:
△
由式,还有:
因此:
+△
代入
将和代入
△
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
