一文详解深度学习中的优化器
日期：2024-04-22 14:02 | 人气：
是通过改善训练方式，来最小化(或最大化)损失函数E(x)。
但是直接最小化经验风险很容易导致过拟合，于是我们需要在经验风险后面加一个正则化项，在这篇文章中我们详细介绍了几种常用的正则化方法?深度学习中的正则化技术--L1&L2-norm,Dropout,Max-norm，像这种加了正则化项的风险函数我们称为结构风险函数，于是我们的优化目标变为最小化结构风险函数。
?主要参考：
邱锡鹏《神经网络与深度学习》
?
少BB，上代码 系列：
深度学习中的优化算法（Optimizer）理解与python实现 - 知乎
https://zhuanlan.zhihu.com/p/79981927
Adam 究竟还有什么问题 —— 深度学习优化算法概览(二) - 知乎
https://zhuanlan.zhihu.com/p/37269222
全局最优解？为什么SGD能令神经网络的损失降到零 - 知乎
https://zhuanlan.zhihu.com/p/46145843
深度学习超参数简单理解------>learning rate,weight decay和momentum - 知乎
https://zhuanlan.zhihu.com/p/23906526
一个值得深思的问题？为什么验证集的loss会小于训练集的loss - 知乎
https://zhuanlan.zhihu.com/p/89623222
薰风AI知识点：Adam看不懂？结合代码带你了解深度学习参数更新策略的发展 - 知乎
https://zhuanlan.zhihu.com/p/78674718
从SGD到NadaMax，十种优化算法原理及实现 - 知乎
https://zhuanlan.zhihu.com/p/81020717
?
如何训练你的ResNet（二）：Batch的大小、灾难性遗忘将如何影响学习率 - 知乎
https://zhuanlan.zhihu.com/p/49743830
?
?
?
?
?
?
