机器学习逻辑回归

机器学习逻辑回归

逻辑回归(Logistic Regression)是一种最基本的二分类模型,逻辑回归的目的是寻找非线性函数Sigmoid的一个最佳拟合参数。

Sigmoid函数的定义如下:

    \[y=\frac {1}{1+e^{-z}}\]

其函数图如下所示:

enter image description here

当z为0时,Sigmoid函数值为0.5;随着z的增大,Sigmoid函数值逼近于1;随着z的减小,Sigmoid函数值逼近0。

为了实现逻辑回归分类器,我们可以令z=\theta^Tx,其中\theta为参数向量,x为特征向量。在使用逻辑回归模型预测样本的分类时,根据样本的特征向量计算得到z,然后将z代入Sigmoid函数中,得到一个范围在0-1之间的数值,如果这个数值大于0.5则预测该样本分类为1类,如果这个数值小于0.5则预测该样本分类为0类。所以接下来的问题,是如何计算得到参数向量\theta

我们使用梯度下降算法来得到最佳拟合参数,如文章机器学习梯度下降算法中所述。

\theta的更新表达式为:

    \[\theta := \theta-\alpha X^T(\frac {1}{1+e^{-X\theta}}-Y)\]

其中X为样本矩阵,Y为样本实际分类向量,\alpha为学习率。

发表评论

电子邮件地址不会被公开。 必填项已用*标注