资阳市泰智网络公司
首页 | 联系方式 | 加入收藏 | 设为首页 | 手机站

产品目录

联系方式

联系人:业务部
电话: 00170-875377
邮箱:service@xtxymfj.com

当前位置:首页 >> 产品展示 >> 默认分类 >> 正文

《机器学习》 线性模型

详细信息:

线性模型的形式很简洁,而且易于建模。线性模型蕴含着机器学习中一些重要的基本思想.许多功能更为强大的非线性模型可在线性模型的基础上通过引入层次结构或高维映射而得。线性模型还有多种推广形式,常见的有广义线性模型:逻辑回归、岭回归等。

1.线性回归模型

(1)问题的求解目标

线性回归(linear regression)是一种回归分析技术,例如在给定数据集D。线性回归试图学习到一个线性模型以尽可能准确地预测实值输出标记。通过在数据集上建立线性模型,建立代价函数(loss function),最终以优化代价函数为目标确定模型参数

w和b,从而得到模型用以后续的预测。整个线性回归算法流程如下:

那么问题的核心就转换为求目标参数w和b,根据已知的数据集D :


来计算参数w和b,对于给定的样本数据xi,其预测值为,这时候我们需要一个可以? 量预测值与数据集真实值之间差距的函数,我们称之为代价函数,可想而知如果代价函数在整个数据集上的值越小,就代表的预测值与真实值越接近,而这就是我们想要的,所以我们的优化目标就是让代价函数的值最小。

这里代价函数我们选用均方误差(square loss),则在整个数据集D上,模型的代价函数为:


我们的要确定的参数为,使得:


这样的基于均方误差最小化来进行模型求解的方法称为“最小二乘法”(least square method,LSM)。

(2)如何去求解w与b

优化目标由上面可以确定,接下来就是如何对参数w和b进行求解。求解w 和b使L(f)最小化的的过程,称为线性回归模型的最小二乘“参数估计”(parameter estimation)。由凸优化知识可知,L(w,b)是关于w 和b的凸函数(证明略过),在数学上我们可知,在凸函数上当函数在导数为0处取极值,同时极值就是函数的最值。故当L(w,b)关于w 和b的导数均为零时,得到ww和b的最优解。

我们考虑更为一般的情况,在数据集D上,样本由d个属性描述,此时线性回归又称为“多元线性回归”。为了便于讨论,我们把w和b统一记为w=(w;b)。与之对应的,数据集D表示为一个m?(d+1)大小的矩阵X,表示为:

可以得到新的优化目标表达式为:

新的代价函数为:

我们进行相应求导:

令上式为零,可以得到最优闭式解,此时需要分类讨论:

上一条:女总裁如何变成嫌犯?中兴工会称兜底员工涉案本金
下一条:算法导论之图算法--图的基本概念