逻辑回归模型损失函数推导

我们已经知道逻辑回归模型分类的原理，但是如何才能求得该模型呢？和线性回归一样，先假设模型函数，然后使用梯度下降方法来求最优解。但是不同于线性回归的是，逻辑回归的假设函数与线性回归的不同，损失函数也不相同，损失函数如下：

h_θ(x)=g(θ^Tx)

其中：

 

所以：

 

如果按照线性回归计算损失函数的话，我们会得到一个非凸函数，无法进行梯度下降求解。所以我们要对损失函数做以下变形，即在y取不同值时，对应的损失函数也不相同，分别为：

 

上述的两个等式可以合并成：

 

这样，我们的损失函数就可以写成：

 

对其使用梯度下降方法，即可求得最优直线。