机器学习线性回归与最小二乘法

机器学习线性回归与最小二乘法

假设有一些数据点,我们用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就叫做回归。

一元线性回归

对于训练样本(xi, yi) (1<=i<=m),线性回归试图学得f(x)=wx+b,使得f(xi)尽可能逼近yi。训练样本(xi, yi) 只有一个特征属性,所以这种线性回归叫做一元线性回归。

现在的问题是如何确定w和b,关键在于如何衡量f(xi)和yi之间的差别,我们使用残差平方和E(w,b)来度量预测值与真实值之间的误差。求解w和b使E(w,b)最小化的过程称为线性回归模型的最小二乘参数估计,下面是推导过程:

enter image description here

enter image description here

多元线性回归

多元线性回归就是一元线性回归的一般化,即每个训练样本包括d个特征属性。线性回归试图学得如下模型:

f(x)=w1x1+w2x2+……+wdxd+b

我们依然使用最小二乘法来最小化m个训练样本的残差平方和,推导过程如下:

enter image description here

其中涉及矩阵求导等详细的推导过程我们会在后续文章中补充。

发表评论

电子邮件地址不会被公开。 必填项已用*标注