梯度下降法求解线性回归

通过梯度下降法求解简单的一元线性回归

分别通过梯度下降算法和sklearn的线性回归模型（即基于最小二乘法）解决简单的一元线性回归实际案例，通过结果对比两个算法的优缺。

通过最小二乘法解决一元线性回归可以参考下面文章
https://blog.csdn.net/coffeetogether/article/details/118114217

数据源：
链接: https://pan.baidu.com/s/1KVw_9O5o9vqQnpgRNfLGVQ
提取码：8u8e

一、梯度下降算法介绍

二、梯度下降法求解线性回归

三、梯度下降法求解一元线性回归案例

1.导入数据

# 导入必要库
import numpy as np
import matplotlib.pyplot as plt

points = np.genfromtxt('E:/PythonData/machine_learning/data.csv',delimiter=',')

# 查看前5行数据
points[:5]

2.绘制散点图

# 分别提取points中的x和y数据
x = points[:,0]
y = points[:,1]

# 绘制散点图
plt.scatter(x,y)
plt.show()

3.定义损失函数

# 损失函数是系数w，b的函数，另外还要传入数据x，y

def computer_cost(w,b,points):
    total_cost = 0
    M = len(points)
    
    # 逐点计算平方损失误差，然后求平均数
    for i in range(M):
        x = points[i,0]
        y = points[i,1]
        total_cost +=(y - w *x - b)**2
    # 取平均
    return total_cost/M

4.定义模型的超参数

# 步长
alpha = 0.0001
# 初始w
initial_w = 0
# 初始b
initial_b = 0
# 迭代次数
num_iter = 10

5.定义核心函数

def grad_desc(points,initial_w,initial_b,alpha,num_iter):
    w = initial_w
    b = initial_b
    # 定义一个list保存所有的损失函数值，用来显示下降的过程
    cost_list = []
    
    for i in range(num_iter):
        cost_list.append(computer_cost(w,b,points))
        w,b = step_grad_desc(w,b,alpha,points)
    return [w,b,cost_list]

def step_grad_desc(current_w,current_b,alpha,points):
    sum_grad_w = 0
    sum_grad_b = 0
    M = len(points)
    
    # 对每个点，代入公式求和
    for i in range(M):
        x = points[i,0]
        y = points[i,1]
        sum_grad_w += (current_w*x+current_b - y)*x
        sum_grad_b += current_w*x+ current_b - y
        
    # 用公式求当前的梯度
    grad_w = 2/M*sum_grad_w
    grad_b = 2/M*sum_grad_b
    
    # 梯度下降，更新当前的w和b
    updated_w = current_w - alpha*grad_w
    updated_b = current_b - alpha*grad_b
    
    return updated_w,updated_b 

6.测试：运行梯度下降算法计算最优的w和b

w,b,cost_list = grad_desc(points,initial_w,initial_b,alpha,num_iter)

cost = computer_cost(w,b,points)
print('w is :',w)
print('b is :',b)

print('cost is :',cost)
plt.plot(cost_list)

plt.show()

7.绘制拟合曲线

plt.scatter(x,y)
# 针对每一个x ，计算出预测的y值
pred_y = w*x+b

plt.plot(x,pred_y,c='r')
plt.show()

8.预测得分

pred_y1 = w*80+b
print(pred_y1)

四、通过sklearn库中的LinearRegression模型求解一元线性回归

1.导入数据

# 导入必要库
import numpy as np
import matplotlib.pyplot as plt

points = np.genfromtxt('E:/PythonData/machine_learning/data.csv',delimiter=',')

# 查看前5行数据
points[:5]

2.绘制散点图

# 分别提取points中的x和y数据
x = points[:,0]
y = points[:,1]

# 绘制散点图
plt.scatter(x,y)
plt.show()

# 损失函数是系数w，b的函数，另外还要传入数据x，y

def computer_cost(w,b,points):
    total_cost = 0
    M = len(points)
    
    # 逐点计算平方损失误差，然后求平均数
    for i in range(M):
        x = points[i,0]
        y = points[i,1]
        total_cost +=(y - w *x - b)**2
    # 取平均
    return total_cost/M

3.通过sklearn库，求解线性回归

# 导入库
from sklearn.linear_model import LinearRegression

4.创建线性回归模型

# 创建线性回归模型
lr = LinearRegression()

# 传入数据，进行拟合
# 将数据x和y都转换成二维数据
x_new = x.reshape(-1,1)
y_new = y.reshape(-1,1)
lr.fit(x_new,y_new)

# 查看拟合结果
# 得到w参数（斜率）
w = lr.coef_[0,0]

# 得到参数b（截距）
b = lr.intercept_[0]

print('w is :',w)
print('b is :',b)

# 得出损失值
cost = computer_cost(w,b,points)

print('cost is :',cost)

5.绘制拟合曲线

plt.scatter(x,y)

# 针对每一个x，给出预测的y值
pred_y = w*x + b

plt.plot(x,pred_y,c='r')
plt.show()

6.预测得分

# 给出x值，预测得分y
x1 = 80
pred_y1 = w*x1+b
pred_y1

总结：sklearn中的LinearRegression模型的底层原理是通过最小二乘法实现的，因此对比两种方法：

通过两个方法得出的cost分别约为112，110。结果可知：在解决一元线性回归问题上，最小二乘法的效果会更佳。

由上图对比可知，最小二乘法直接通过求导找到损失函数的全局最小值，而梯度下降则是通过不断地迭代无限接近最小值。因此，在精度上最小二乘法略高于梯度下降法。