Task3过拟合、欠拟合及其解决方案训练误差、泛化误差模型选择验证数据集K折交叉验证过拟合欠拟合概念模型复杂度解决过拟合权重衰减(加上L2范数惩罚项)丢弃法梯度消失、梯度爆炸初始化模型参数Xavier随机初始化协变量偏移标签偏移概念偏移循环神经网络循环神经网络构造RNN简洁实现实践one-hot向量
过拟合、欠拟合及其解决方案
训练误差、泛化误差
前者指模型在训练数据集上表现出的误差。
后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。
模型选择
验证数据