AI学习者 · 2021年09月23日

【机器学习算法】1、线性回归——深层理解

简介

线性回归一般用来做连续值的预测,同时预测的结果也是一个连续的值;在训练样本时,不仅需要提供学习的特征向量,还需要提供样本的标签数据,也因此线性回归是一个有监督学习的算法。

线性回归算法的流程

FireShot Capture 029 - 【机器学习算法】1、线性回归——深层理解 - mp.weixin.qq.com.png

线性回归算法的具体步骤

1、模型的建立

image.png

2、参数的估计

456FireShot Capture 030 - 【机器学习算法】1、线性回归——深层理解 - mp.weixin.qq.com.png

3、损失函数的定义

image.png

4、损失函数的优化

4.1、最小二乘法

5566FireShot Capture 031 - 【机器学习算法】1、线性回归——深层理解 - mp.weixin.qq.com.png

4.2、梯度下降法求解目标函数的结果

677FireShot Capture 032 - 【机器学习算法】1、线性回归——深层理解 - mp.weixin.qq.com.png

5、最小二乘法最优证明

5.1、高斯—马尔可夫定理

统计上评价模型参数估计的结果最常用的指标就是无偏性、一致性和有效性;
高斯—马尔可夫模型定理可以证明:在满足一定假设条件的情况下,以最小二乘法为评价函数计算得到的线性回归参数在所有的无偏估计中具有最优的有效性。也就是说,选取其他的评价函数虽然参数可能也是无偏的,但是它们的方差都比最小二乘的方差大。

image.png

5.2、无偏性证明

234666FireShot Capture 034 - 【机器学习算法】1、线性回归——深层理解 - mp.weixin.qq.com.png

5.3、最优无偏性证明

678FireShot Capture 035 - 【机器学习算法】1、线性回归——深层理解 - mp.weixin.qq.com.png

5.4、结论

image.png

6、SKlearn实践代码(部分)

6.1、导入模块

image.png

6.2、数据集导入和切分

image.png

6.3、SKLearn函数训练数据

image.png

原文:集智书童
作者: ChaucerG

推荐阅读

推荐阅读
关注数
18838
内容数
1372
嵌入式端AI,包括AI算法在推理框架Tengine,MNN,NCNN,PaddlePaddle及相关芯片上的实现。欢迎加入微信交流群,微信号:aijishu20(备注:嵌入式)
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息