知识点协变量偏移标签偏移概念偏移 协变量偏移 在传统机器学习中，一个常见的问题的协变量偏移(Covariate Shift)。协变量是一个统计学概念，是可能影响预测结果的统计变量。 在机器学习中，协变量可以看作是输入。一般的机器学习算法都要求输入在训练集和测试集上的分布是相似的。如果不满足这个假设，在训练集上学习到的模型在测试集上的表现会比较差。 内部协变量偏移（Internal Covariate Shift）： 从机器学习角度来看，如果某个神经层的输入分布发生了改变，那么其参数需要重新学习，

task3 task4 and task5 1.过拟合、欠拟合及其解决方案 解决方法包括：验证数据集和交叉验证 权重衰减 L2 范数正则化（regularization） 例如在线性回归中加入带有l2范数惩罚项的损失函数。 当 λ 较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当 λ 设为0时，惩罚项完全不起作用。 2.（1）梯度消失、梯度爆炸以及Kaggle房价预测 当神经网络的层数较多时，模型的数值稳定性容易变差 （2）考虑环境因素 协变量偏移 标签偏移 概