速读《机器学习实战》第5章,大概了解了下logistic回归,记录下我的理解,还有一些细节懵懵懂懂,不求一次精通,分两步走,先记录下今天的心得吧。

我的理解

  • logistic回归 就是sigmoid函数+梯度下降法来求二分类
    sigmoid
  • 假设训练集的一个点是(x11,x21,x31,x41,...,xn1, y1),则共n个维度,类别为y1。【另一个点是(x12,x22,x32,...,xn2, y2),类别为y2】
  • 则w就有n个维度。
  • 初始化w=(1,1,1,1,1,...,1,1)【共n个1】,设置学习速率为alpha,对所有点(共m个)进行迭代,每次求出该点时的损失函数的导数,然后进行该维导数减去其导数*alpha进行修正。直到达到规定的迭代次数或者修正幅度小于规定的阈值e。最后得出的w=(r1,r2,...rn)则为最小损失函数的w。
  • 损失函数:可以看成是两点间的距离,距离越小,则模型与现实点越贴近,熵越小,损失的信息量越小。

参考资料

《梯度下降法详解(公式推导)》
《入门 | 从原理到应用:简述Logistic回归算法》