柚子快報邀請碼778899分享：對線性回歸的學習與總結

http://yzkb.51969.com/

回歸分析是指一種預測性的建模技術，主要是研究自變量和因變量的關系。通常使用線/曲線來擬合數(shù)據(jù)點，然后研究如何使曲線到數(shù)據(jù)點的距離差異最小。

線性回歸：

假設目標值（因變量）與特征值（自變量）之間線性相關。然后構建損失函數(shù)。最后通過令損失函數(shù)最小來確定參數(shù)。（最關鍵的一步）

在回歸問題中，均方誤差是回歸任務中最常用的性能度量。記J(a,b)為f(x)和y之間的差異，即

?這里稱J(a,b)為損失函數(shù)，明顯可以看出它是個二次函數(shù)，即凸函數(shù)（這里的凸函數(shù)對應中文教材的凹函數(shù)），所以有最小值。當J(a,b)取最小值的時候，f(x)和y的差異最小，然后我們可以通過J(a,b)取最小值來確定a和b的值。

確定a和b的值的三種方法：

1.最小二乘法：

既然損失函數(shù)J(a,b)是凸函數(shù)，那么分別關于a和b對J(a,b)求偏導，并令其為零解出a和b。這里直接給出結果： 解得：

? ? ? ? ??

2.梯度下降法：

梯度的本意是一個向量（矢量），表示某一函數(shù)（該函數(shù)一般是二元及以上的）在該點處的方向導數(shù)沿著該方向取得最大值，即函數(shù)在該點處沿著該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。 當函數(shù)是一元函數(shù)時，梯度就是導數(shù)。

在梯度下降法中，需要我們先給參數(shù)a賦一個預設值，然后再一點一點的修改a，直到J(a)取最小值時，確定a的值。下面直接給出梯度下降法的公式（其中α為正數(shù)）：

?總結下，不同的步長η?，隨著迭代次數(shù)的增加，會導致被優(yōu)化函數(shù)f(x)?的值有不同的變化：

f(x) 往上走（紅線），自然是η 過大，需要調低。

f(x)一開始下降的特別急，然后就幾乎沒有變化（棕線），可能η 較大，需要調低。

f(x)幾乎線性變化（藍線），可能是η 較小，需要調大。

3.正規(guī)方程：

同樣，假設有n組數(shù)據(jù)，其中目標值（因變量）與特征值（自變量）之間的關系為： 正規(guī)方程的公式：

總結：

1.梯度下降法是通用的，包括更為復雜的邏輯回歸算法中也可以使用，但是對于較小的數(shù)據(jù)量來說它的速度并沒有優(yōu)勢。???????? 2.正規(guī)方程的速度往往更快，但是當數(shù)量級達到一定的時候，還是梯度下降法更快，因為正規(guī)方程中需要對矩陣求逆，而求逆的時間復雜的是n的3次方。 3.最小二乘法一般比較少用，雖然它的思想比較簡單，在計算過程中需要對損失函數(shù)求導并令其為0，從而解出系數(shù)θ。但是對于計算機來說很難實現(xiàn)，所以一般不使用最小二乘法。

柚子快報邀請碼778899分享：對線性回歸的學習與總結

http://yzkb.51969.com/

文章鏈接