文件名称:
GXNOR-Net：在统一离散化框架下，通过三元权重和激活来训练深层神经网络，而无需完整的内存
开发工具:
文件大小: 956kb
下载次数: 0
上传时间: 2021-03-14
详细说明：尽管深度神经网络（DNN）是打开AI时代的革命力量，但是众所周知，巨大的硬件开销挑战了它们的应用。 最近，几个二进制和三进制网络（其中昂贵的乘法累加运算可以被累加或什至二进制逻辑运算代替）使DNN的片上训练非常有前途。 因此，迫切需要建立一种可以将这些网络包含在一个统一的框架中的架构，该架构既可以实现更高的性能，又可以减少开销。 为此，有两个基本问题尚待解决。 第一个是在神经元激活离散时如何实现反向传播。 第二个方法是如何在训练阶段消除精确的隐藏权重，以打破内存/计算消耗的瓶颈。 为了解决第一个问题，我们提出了一种多步神经元激活离散化方法和一种微分逼近技术，可以在离散DNN上实现反向传播算法。 对于第二个问题，我们提出了一种离散状态转换（DST）方法，以在不保存隐藏权重的情况下将权重约束在离散空间中。 通过这种方式，我们构建了一个统一的框架，该框架将二进制或三进制网络作为其特殊情况，并在以下网址上提供了启发式算法：https：//github.com/AcrossV/Gated-XNOR。 更具体地说，我们发现，当权重和激活都变为三进制值时，由于仅发生非零权重和非零激活事件，DNN可以
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
