文件名称:
Pi-Sigma神经网络的几种梯度学习算法
开发工具:
文件大小: 2mb
下载次数: 0
上传时间: 2013-08-21
详细说明： 到目前为止，人们提出了许多神经网络模型，其中应用最广泛的是前馈神经网络．早期前馈神经网络中只含有求和神经元，在处理复杂非线性问题时效率很低．后来，人们将求积神经元引入到前馈神经网络中，用以增加网络的非线性映射能力，提高网络的学习效率．这样的网络可以统称为高阶前馈神经网络．但是，如果只通过输入节点值的简单乘积构造求积神经元以增加网络的非线性映射能力，随着输入样本维数的增加，所需权值的数量呈指数阶增加，即出现“维数灾难”．Pi-Sigma 神经网络是1991 年Y．Shin提出的一种具有多项式乘积构造的求积神经元的高阶前馈神经网络．该网络既提高网络的非线性映射能力，又避免了“维数灾难”的出现．此后，为了提高该网络的应用能力，Y．Shin、A.J. Hussaina、C.K. Li 等又以Pi-Sigma 神经网络为模块构造了更复杂的网络结构，并在模式分类和函数逼近等问题中取得成功应用． 学者们对只含有求和神经元的前馈神经网络的收敛性、泛化能力等理论问题已有深入研究，而对含有求积神经元的高阶前馈神经网络的研究主要集中在实际应用上，相关理论方面的研究还很薄弱，仍存在许多有待解决的基本理论问题．因此，从理论上分析 Pi-Sigma 神经网络学习算法的学习能力和收 敛性具有很重要的实际意义，这些问题的研究和解决将对 Pi-Sigma 神经网络的应用起到重要的促进作用． 梯度算法是一种简单又常用的神经网络训练算法，从样本的输入方式看，包括批处理和在线两种运行方式：从权值向量的更新方式来看，包括同步和异步两种更新方式．本论文主要研究用于训练 Pi-Sigma 神经网络的几种梯度学习算法的相关理论问题，包括学习效率、收敛性等．另外，在网络结构优化方面做了一些尝试． 本论文的结构及内容如下： 第一章回顾有关神经网络的一些背景知识． 第二章指出随机单点在线梯度算法训练 Pi-Sigma 神经网络过程中因权值较小会降低网络收敛速度的问题，并从理论上分析了这种现象产生的原因及权值更新受影响的程度．同时，为解决该问题，给出了一种带惩罚项的随机单点在线梯度算法． 第三章讨论 Pi-Sigma 神经网络异步批处理梯度算法和带动量项的异步批处理梯度算法的收敛性问题．将动量项引入到训练 Pi-Sigma 神经网络的异步批处理梯度算法中，有效地改善了算法的学习效率，给出误差函数的单调性定理及该算法的弱收敛和强收敛性定理及证明，并通过计算机仿真实验验证理论分析的正确性． 第四章分析 Pi-Sigma 神经网络在线梯度算法的收敛性问题并给出收敛性结论． 第五章提出基于灰色关联分析的一种新的剪枝算法，并将其用于训练前馈神经网络 (包括多层前馈神经网络和 High-Order 神经网络)．该算法运用狄色关联分析对比网络各节点输出值序列之问联系的紧密程度，实现网络结构的动态修剪．训练后的神经网络具有较合理的网络拓扑结构和较好的泛化能力．实例验证该算法的合理性、有效性． ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
