梯度消失、梯度爆炸以及Kaggle房价预测 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。 当神经网络的层数较多时，模型的数值稳定性容易变差。 假设一个层数为 L 的多层感知机的第 l 层 H(l) 的权重参数为 W(l) ，输出层 H(L) 的权重参数为 W(L) 。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping） ϕ(x)=x 。给定输入 X ，多层感知机的第 l 层的输出 H(l)=XW(1)W

【任务安排】： Task03：过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶（1天） Task04：机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer（1天） Task05：卷积神经网络基础；leNet；卷积神经网络进阶（1天） Task03： 过拟合、欠拟合及其解决方案 过拟合、欠拟合的概念 权重衰减 丢弃法 梯度消失、梯度爆炸 梯度消失和梯度爆炸 考虑到环境因素的其他问题 Kaggle房价预测 循环神经网络进阶 深度卷积神经网络（AlexNet） 使