Task3过拟合、欠拟合及其解决方案训练误差、泛化误差模型选择验证数据集K折交叉验证过拟合欠拟合概念模型复杂度解决过拟合权重衰减（加上L2范数惩罚项）丢弃法梯度消失、梯度爆炸初始化模型参数Xavier随机初始化协变量偏移标签偏移概念偏移循环神经网络循环神经网络构造RNN简洁实现实践one-hot向量 过拟合、欠拟合及其解决方案 训练误差、泛化误差 前者指模型在训练数据集上表现出的误差。 后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 模型选择 验证数据

梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸随机初始化模型参数PyTorch的默认随机初始化Xavier随机初始化考虑环境因素协变量偏移标签偏移概念偏移Kaggle 房价预测实战获取和读取数据集预处理数据训练模型对数均方根误差实现K折交叉验证模型选择预测并在Kaggle中提交结果 梯度消失和梯度爆炸   深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。   当神经网络的层数较多时，模型的数值稳定性容易变差。   假设一个层数为L的多层感知

该方法来源于2010年的论文Understanding the difficulty of training deep feedforward neural network 该方法的思想是：为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等 具体的推导过程见如下链接： 深度学习——Xavier初始化方法 深度学习中Xavier初始化 推导所得的结果就是使该层中权重参数的每个元素都随机采样于均匀分布： U(−6a+b,6a+b)U(-\sqrt{\frac{6}{a+b}},\sqrt{\

从头开始的神经网络 作业1：深度学习基础 我们在python中使用numpy从零开始实现了一个神经网络。 该代码可在名为Assignment1.ipynb的ipython笔记本中使用。 我们在这里解释代码以及如何使用它来再现结果。 激活功能 我们已经实现了S型，tanh，ReLU和线性激活函数以及它们的梯度。 损失函数 当应用softmax函数时，我们已经实现了交叉熵和均方误差损失及其梯度。 重量初始化 我们已经实现了随机和Xavier权重初始化方法。 优化器 我们已经实现了sgd ，动量， n