机器学习--线性回归与梯度算法

小说:罗李华大师教您如何选个好日子作者:通伯帝侯更新时间:2019-03-26字数:15113

可是现在居然有人潜伏在慈宁宫当中这么久如果不是对方主动传音给自己的话她都不会发现,一想到自己洗澡很可能会被看光龙儿心中就一阵羞怒,想也不想的拉过了婢女递过来的衣裳套在了身上猛然飞了出去……

《彭博市场》评出2015年全球50大最具影响力人物

“也罢,我就给你个机会,”天神愚向红线淫笑道,“你自己脱光衣服走过来,只要把我服侍好了,我就放了这个丫头。”
叶扬微微一愣,旋即露出一丝*荡的笑意,他嘿嘿笑道:“该做的都做了,很不错,很够味,你是第一次吧,很紧很幸福,声音很甜很带劲。”

马红俊喃喃地自言自语道:“原来我已经这么厉害了,连天斗皇家学院的精英都打不过我。哈哈,我果然是个天才。”

机器学习--线性回归与梯度算法


线性回归(Linear Regression),亦称为直线回归,即用直线表示的回归,与曲线回归相对。若因变量Y对自变量X1、X2…、Xm的回归方程是线性方程,即μy=β01X12X2 +…βmXm,其中β0是常数项,βi是自变量Xi的回归系数,M为任何自然数。这时就称Y对X1、X2、…、Xm的回归为线性回归。

简单回归:

只有一个自变量的线性回归称为简单回归,如下面示例:

X表示某商品的数量,Y表示这些不同数量商品的总价格

x=[0, 1, 2, 3, 4, 5]

y=[0, 17, 45, 55, 85, 99]

二维坐标中绘图如下图:

 

现在当商品数量 X = 6时,估计商品总价是多少?

我们可以很明显的看到,商品总价随商品的数量上升而上升,这是一个典型的线性回归。

因为只有一个自变量X,我们假设线性回归模型: Y = a * X + b

我们需要求出最合适的a,b值,使得直线:Y = a * X + b 与上图的趋势相拟合,这时候才能去预测不同商品数量X下的总价Y。

最小二乘法:

 为了求出最合适的a b ,我们引入最小二乘法。

最小二乘法,亦称最小二乘法估计。由样本观测值估计总体参数的一种常用方法。它用于从n对观测数据(x1,y1),(x2,y2),……,(xn,yn)确定x与y之间对应关系y=f(x)的一种最佳估计,使得观测值与估计值之差(即偏差)的平方和 H为最小。

最小二乘法能尽量消除偶然误差的影响,从而由一组观测数据求出最可靠、最可能出现的结果。

由上图我们可以很明显的看出直线Y = a * X + b过原点,即 b = 0

我们尝试不同的a值 得到的结果如下:  

a = 19 时 H = 154

a = 20 时 H = 85

a = 21 时 H = 126

 图像分别如下:

    

 

 我们可以粗略得出结论 a = 20,b = 0 时,线性模型 Y = 20 * X 与样本数据拟合的比较好。

所以当商品数量 X = 6 时,我们可以粗略估计总价Y = 20 * 6 = 120

多元回归:

大于一个自变量的线性回归叫做多元回归。

上面的例子只是一个自变量,处理起来比较简单,但是若自变量有很多,假设自变量有m个,为 [ x1,x2,x3,x4.....xm ]

这时候我们假设的回归系数(即权重)也需要有m个,即我们假设的线性模型是 Y =  X0 +  X1*W1 + X2*W2 + X3*W3 + ....... + Xm*Wm 

为了计算方便,我们去W0 = 1

这样:Y =  X0*W0 +  X1*W1 + X2*W2 + X3*W3 + ....... + Xm*Wm

写成向量形式:

W = [W0,W1 , W2 ,W3 , .... ,Wm]   

X = [ X0, X1 , X2 , X, .... , Xm]

Y = WT * X (WT为向量W的转置)

观测值与估计值之差(即偏差)的平方和:

为了方便后面计算,我们在H的左边乘上二分之一,即:

上面公式中 n 表示训练样本的数目,m 表示每条训练样本 的特征(自变量)个数,上标表示属于第 j 个 样本,下标表示第 i 个特征(自变量值),表示第 j 个样本总价观测值

现在H是关于W0,W1,W2....Wm的函数,我们需要通过合适的方法求出最适合的W值,才能得出一个比较好的线性回归方程。与简单回归相比,这里我们很难通过观察与尝试不同的w值来求解,我们需要采用最优化算法。

梯度算法:

常见的最优化算法有梯度下降法(Gradient Descent)、牛顿法和拟牛顿法(Newton"s method & Quasi-Newton Methods)、共轭梯度法(Conjugate Gradient)、 启发式优化方法等,本文详细介绍梯度算法。

明确下我们现在的目标:我们需要通过梯度算法求出---当在H取得最小的情况下,W0 ,W1 ,W2 ,W3 , ....... ,Wm的值,从而写出回归方程。

梯度算法分为梯度上升算法 和 梯度下降算法。梯度下降算法的基本思想是:要找到某函数的最小值,最好的方法是沿着该函数的梯度方向探寻,梯度上升则相反。对于一个有两个未知数x,y的函数f(x,y),梯度表示为:

 

对于Z = f(x,y),使用梯度下降算法的意味着 沿X轴方向移动,沿Y的方向移动,函数f(x,y)必须要在待计算的点上有定义并且可微。

可以通俗理解为:

梯度实际上是函数值变化最快的方向。比如说,你站在一个山上,梯度所指示的方向是高度变化最快的方向。你沿着这个方向走,能最快的改变(增加或是减小)你所在位置的高度,但是如果你乱走,可能走半天所在位置高度也没有变化多少。也就是说,如果你一直沿着梯度走,你就能最快的到达山的某个顶峰或低谷。所以实际上,梯度算法是用来搜索局部极小值或极大值的,它是实际应用中一种非常高效,高速且可靠的方法。

用梯度下降法找出最小H

我们前面看到:

H是关于W = [W0 ,W1 ,W2 ,W3 , ....... ,Wm]的函数,H的梯度如下:

这个时候对于每一个Wi的梯度:

 

 

 我们假设每次沿着梯度方向更新的步长为 α,所以W的值更新公式可写为:

 所以梯度下降算法的伪代码如下:

每个回归系数(即每个W值)的每个值都为1

重复R次:

  计算整个数据集的梯度

     使用 更新回归系数W

实例:

 用梯度下降 算法求下面商品数据的线性回归方程

我们假设线性回归模型为总价Y = a + b * X1 + c * X(X1 X2 分别表示商品1,2的数量)

我们需要求出回归系数W = [ a, b, c]

梯度下降算法如下:

 1 import numpy as np
 2 
 3 def grad_desc(train_data, train_labels):
 4     """梯度下降"""
 5     data_mat = np.matrix(train_data)
 6     label_mat = np.matrix(train_labels).transpose()
 7     n = np.shape(data_mat)[1]
 8     # 步长
 9     alpha = 0.001
10     # 最大循环次数
11     max_cycles = 100
12     # 初始化回归系数weights
13     weights = np.ones((n, 1))
14     for index in range(max_cycles):
15         h = data_mat * weights-label_mat
16         weights = weights - alpha * data_mat.transpose() * h
17         # 返回压平的系数数组
18     return np.asarray(weights).flatten()

我们用上面算法得到的回归系数为

[ 1.7218815 4.24881047 5.28838946]
 
随机梯度算法:
 
上述梯度算法中,循环R = 100次,每一次更新回归系数都需要遍历整个数据集,如果数据样本很大,那么计算时间复杂度将会非常高。
所以一般每次使用一个样本点来更新回归系数,称为随机梯度算法。
随机梯度下降算法伪代码如下:
所有回归系数初始化为1
  重复R次:
    循环每一个样本:
      计算该样本的梯度

         使用 更新回归系数W

 修改后的算法如下:

 1 import numpy as np
 2 
 3 def advanced_random_grad_desc(train_data, train_labels):
 4     """随机梯度下降改进"""
 5     data_mat = np.asarray(train_data)
 6     label_mat = np.asarray(train_labels)
 7     m, n = np.shape(data_mat)
 8     # 步长
 9     alpha = 0.001
10     # 初始化回归系数weights
11     weights = np.ones(n)
12     max_cycles = 500
13     for j in range(max_cycles):
14         data_index = list(range(m))
15         for i in range(m):
16             random_index = int(np.random.uniform(0, len(data_index)))
17             h = sum(data_mat[random_index] * weights)-label_mat[random_index]
18             weights = weights - alpha * h * data_mat[random_index]
19             del data_index[random_index]
20     return weights

计算得到的回归系数为:

[ 1.27137416 4.31393524 5.2757683 ]

 我们可以得到线性回归方程为:

Y = 1.27 + 4.31 * X1 + 5.28 * X2

写在后面的话:

本文的完整代码已上传:https://gitee.com/beiyan/machine_learning/tree/master/gradient

 随机梯度下降(上升)算法使用非常广泛,效果也非常好,后续文章将使用梯度算法来解决一些问题。不例外,梯度算法也是有缺点的,如靠近极小值时收敛速度减慢、直线搜索时可能会产生一些问题、可能会“之字形”地下降等,另外下降或上升步长的选择也会影响最后得到的回归系数,我们可以通过改变一些参数来测试回归的效果。

当前文章:http://zxqss.com/play/zta47qjm60.html

发布时间:2019-03-26 07:37:57

一个人是怎样一步步变狭隘的 沪深300期指贴水400点,丧钟为谁而鸣? 谈早恋与儿童的异性交往 暗蛾破茧的那个刹那 小学新生:要做哪些准备适应新环境 你了解恋人的依恋风格吗? 小学新生的艰难心路让人心疼 算一算,高考真实录取率到底有多低?

时代病的白描 花博士教你:男女之间的风水很重要!这不是迷信! 好声音被曝黑幕?认真,你就输了! 报复方舟子的肖传国被自己的欲望锤倒了! 走近同性恋 你敢不敢把手机借给陌生人? 赤子孤独了,会创造一个世界——纪念傅雷夫妇 就算翻脸,也别拔刀 如果不死,我们就要见面 经典原创禅诗:【禅.十字回文诗】 为什么说,男人天生就是“大色狼” 感冒药该不该“限购” 非比学习能力训练中的一天 一个人先性感,两个人就性福! 数字背后的科学 给爱的女人买对的礼物到底有多重要 长期坚持早起是什么感觉? 原创:无回应之处,便是绝境 【情感问答】情人为偶像吃醋、吵架

编辑:安侯

我要说两句: (0人参与)

发布