机器学习的过程大致分为三步:1)模型假设,比如我们假设模型是线性回归,还是多项式回归,以及其阶数的选择;2)误差函数定义,比如我们假设误差函数是均方误差,还是交叉熵;3)参数求解,比如使用正规方程,还是梯度下降等。
这篇文章主要讨论模型的选择问题,下面以多项式回归为例进行说明
一个例子:多项式回归中的阶数选择
在前面的文章【图解例说机器学习】线性回归中,我们定义了广义的线性回归模型,其表达式为:
y^=ω0+∑j=1Mωjϕj(x)=ω0+wTϕ(x)(1)
\hat y=\omega_0+\s