无码一区二区三区免费-中文字幕丰满孑伦无码专区-亚洲日本一区二区三区在线-国产精品久久久久久人妻精品

云南網(wǎng)站推廣公司要成功訓練一個深度學習模型，選擇一個適當?shù)膬?yōu)化方法是非常重要的。雖然隨機梯度下降法（SGD）通常可以一上手就發(fā)揮出不錯的效果，不過Adam和Adagrad這樣更先進的方法可以運行得更快，尤其是在訓練非常深的網(wǎng)絡(luò)時。

       然而，為深度學習設(shè)計優(yōu)化方法是一件非常困難的事情，因為優(yōu)化問題的本質(zhì)是非凸問題。在這篇論文中，谷歌大腦的研究員們討論了一種方案，它可以自動設(shè)計優(yōu)化方法中的權(quán)重更新規(guī)則，尤其是對于深度學習架構(gòu)。
       云南網(wǎng)站推廣這個方案的重點是使用了一個RNN結(jié)構(gòu)的控制器，這個控制器可以給優(yōu)化器生成權(quán)重更新方程。這個RNN結(jié)構(gòu)的控制器是通過強化學習的方式訓練的，一個具體的網(wǎng)絡(luò)結(jié)構(gòu)用它生成的更新規(guī)則進行同樣次數(shù)的訓練后，可以把模型準確率大化。