一.过拟合及欠拟合及其解决方案 训练误差和泛化误差 训练误差是指在训练数据集上表现出的误差，泛化误差指的是模型在任意一个测试数据样本上表现出来的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以用损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。在机器学习模型应关注降低泛化误差。 验证数据集 从严格意义上讲，测试集只能在所有超参数和模型参数选定后使用一次。不可以使用测试数据选择模型，如调参。由于无法从训练误差估计泛化误差，因此也不应只依赖训