简介
线性回归一般用来做连续值的预测,同时预测的结果也是一个连续的值;在训练样本时,不仅需要提供学习的特征向量,还需要提供样本的标签数据,也因此线性回归是一个有监督学习的算法。
线性回归算法的流程
线性回归算法的具体步骤
1、模型的建立
2、参数的估计
3、损失函数的定义
4、损失函数的优化
4.1、最小二乘法
4.2、梯度下降法求解目标函数的结果
5、最小二乘法最优证明
5.1、高斯—马尔可夫定理
统计上评价模型参数估计的结果最常用的指标就是无偏性、一致性和有效性;
高斯—马尔可夫模型定理可以证明:在满足一定假设条件的情况下,以最小二乘法为评价函数计算得到的线性回归参数在所有的无偏估计中具有最优的有效性。也就是说,选取其他的评价函数虽然参数可能也是无偏的,但是它们的方差都比最小二乘的方差大。
5.2、无偏性证明
5.3、最优无偏性证明
5.4、结论
6、SKlearn实践代码(部分)
6.1、导入模块
6.2、数据集导入和切分
6.3、SKLearn函数训练数据
原文:集智书童
作者: ChaucerG
推荐阅读