机器学习 _ 最小二乘法，线性回归与逻辑回归

1. 线性回归

  线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

  直观地说，在二维情况下，已知一些点的 X,Y 坐标，统计条件 X 与结果 Y 的关系，画一条直线，让直线离所有点都尽量地近（距离之和最小），用直线抽象地表达这些点，然后对新的 X 预测新的Ｙ。具体实现一般使用最小二乘法。

线性回归

  线性回归的优点是理解和计算都相对简单，缺点是无法解决非线性问题。

2. 最小二乘法

1) 原理

  最小二乘法（ordinary least squares，简称 OLS）的核心就是保证所有数据偏差的平方和最小（“平方”的在古时侯的称谓为“二乘”）。

  我们用直线拟合一些点，直线方程是 y’=ax+b，每点偏差是 y-y’，其中 y 是实际值，y’是估计值。sum((y-y’)^2) 最小时，直线拟合最好。上试代入 y’，可得 M=sum((y-(ax+b))^2)，对它求导取极值。此时，x,y 是已知的，未知的是 a 和 b，所以分别求 M 对 a 和 b 的偏导，解出的 a,b 即回归系数，记作 W。线性回归就是计算参数 W 的过程。有了Ｗ，就能将Ｙ表示成多属性的加权线性组合。

  假设有两个变量 (多元回归)y’=w0+w1x1+w2x2，就变成了一个三维的问题，同样也用误差平方最小的方法 M=sum((y’-(w0+w1x1+w2x2))^2)，Ｍ对 w0,w1,w2 的偏导为 0 处是极值，然后解出 w0,w1,w2。更多元的情况见下面的公式推导。

  预测时，用回归系数乘以输入值，再将结果加在一起就得到了预测值，一般用矩阵乘法实现。

2) 公式推导

  通过矩阵运算求解回归系数的 W={w0,w1,w2…}

3. 线性回归代码实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
# -*- coding: utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt

# 训练
def standRegres(xArr,yArr):  
    m,n = np.shape(xArr)
    xMat = np.mat(np.ones((m, n+1))) # 加第一列设为1，为计算截距
    x = np.mat(xArr)
    xMat[:,1:n+1] = x[:,0:n];
    yMat = np.mat(yArr).T  
    xTx = xMat.T*xMat  
    if np.linalg.det(xTx) == 0.0:  
        print("This matrix is sigular, cannot do inverse") #行列式的值为0，无逆矩阵
        return  
    ws = xTx.I*(xMat.T*yMat)  
    return ws  

# 预测
def predict(xArr, ws):
    m,n = np.shape(xArr)
    xMat = np.mat(np.ones((m, n+1))) # 加第一列设为1, 为计算截距
    x = np.mat(xArr)
    xMat[:,1:n+1] = x[:,0:n];
    return xMat*ws

if __name__ == '__main__':
    x = [[1], [2], [3], [4]]
    y = [4.1, 5.9, 8.1, 10.1]
    ws = standRegres(x,y)
    print(ws)
    print(predict([[5]], ws))

    # 画图
    plt.scatter(x, y, s=20)
    yHat = predict(x, ws)
    plt.plot(x, yHat, linewidth=2.0, color='red') 
    plt.show()

  注意：回归系数的个数应该比属性多一个，用于表示截距，在 sklearn 中也是这样，只不过截距相关的放在 intercept_ 中，其它放在 coef_ 中。

4. 逻辑回归

  逻辑回归，也叫逻辑斯蒂回归，logistic regression。

  有监督学习常分成：分类和回归，不要一听 xx 回归，以为就是预测具体值了，这里的“逻辑回归”其实是个分类的方法。之所以叫逻辑回归，是因为最常见用它处理二分类问题，即分类为 0 或 1（逻辑值）。如图所示，它是用一条直线，将实例分类。

逻辑回归

  与线性回归不同的只是这里的Ｙ是分类 0 或１，而不是具体数值。所以它叫广义线性模型。

  把具体数据对应成 0,1 的方法是 sigmoid，sigmoid 函数只能分两类，而 softmax 能分多类，softmax 是 sigmoid 的扩展。

5. Sigmoid 函数

 Sigmoid 函数，就是Ｓ型函数，这就是一个数值和逻辑值间转换的工具，如下图示，它把Ｘ从负无穷到正无穷映射到Ｙ的 0-1 之间。很多时候需要求极值，而 0,1 分类不是连续的，不可导，所以用一个平滑的函数拟合逻辑值，因为用了它，所以这叫逻辑回归。

Sigmoid