机器学习中Gradient Descent (Vanilla)梯度下降法的过程

Gradient Descent

最近在搞Deep Leaning，数学不好的我学的头大啊。

在学之前，你或许和我一样

然而

|

|

|

|

|

|

|

|

|

|

|

|

|

|

|

|

|

现实是

还是边学习边做笔记o(╥﹏╥)o

简单粗暴，图文并茂

First

从初始参数起始点 θ0θ_0θ0​开始

计算一下Gradientg0g^0g0

然后，向着Gradient的反方向去Update（更新）参数

其中，θ1=θ0−ηg0\boldsymbol{\theta}^{\mathbf{1}}=\boldsymbol{\theta}^{\mathbf{0}}-\eta \boldsymbol{g}^{0}θ1=θ0−ηg0

得到新参数后，不断重复上两步过程

其中， θ2=θ1−ηg1\boldsymbol{\theta}^{2}=\boldsymbol{\theta}^{\mathbf{1}}-\eta \boldsymbol{g}^{\mathbf{1}}θ2=θ1−ηg1

直到最终找到Local Minima

应该算是简单明了了吧，O(∩_∩)O哈哈~

ღ( ´･ᴗ･` )

❤

『

祈愿万家灯火熨烫过脉络，刀山与火海多深刻，都陪你渡过。

』