梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
我会使用尽量少的数学符号描述梯度，着重于意义而非计算。一个直观的例子，在机器学习领域有个术语叫「梯度下降」，你可以想象在群山之中，某个山的半山腰有只小兔子打算使用梯度下 …
梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
梯度（gradient) 的概念. 在空间的每一个点都可以确定无限多个方向，一个多元函数在某个点也必然有无限多个方向。因此，导数在这无限多个方向导数中最大的一个（它直接反映了函数在这 …
梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
上面 这个函数，则用于求取整个定义域上的梯度，传入的 是一个 的数组， 就是所有点的 坐标构成的一维数组 ，而 就是所有点的 坐标构成的二维数组 ，我们利用数值求解的方法求取各个点的 …
梯度（gradient）到底是个什么东西？物理意义和数学意义分别是 …
梯度（gradient) 的概念. 在空间的每一个点都可以确定无限多个方向，一个多元函数在某个点也必然有无限多个方向。因此，导数在这无限多个方向导数中最大的一个（它直接反映了函数在这 …
如何理解策略梯度（Policy Gradient）算法？ - 知乎
Actor-Critic算法结合了策略梯度（Policy Gradient）方法和值函数估计的优点，旨在通过两个不同的神经网络来学习：一个用于学习策略（Actor），另一个用于评估状态的价值（Critic）。 …
如何评价 Meta 新论文 Transformers without Normalization？ - 知乎
Normalization这个事得好好掰扯掰扯。 上古时期，网络经常在初始几个iteration之后，loss还没下降就不动，必须得把每一层的gradient与weight的比值打印出来，针对性地调整每一层的初始 …
PyTorch中在反向传播前为什么要手动将梯度清零？ - 知乎
知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业 …
梯度（gradient）到底是个什么东西？物理意义和 ... - 知乎
知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业 …
机器学习 | 近端梯度下降法 (proximal gradient descent) - 知乎
近端梯度下降法是众多梯度下降 (gradient descent) 方法中的一种，其英文名称为proximal gradident descent，其中，术语中的proximal一词比较耐人寻味，将proximal翻译成“近端”主要 …
如何理解随机梯度下降（stochastic gradient descent，SGD）？
如图所示，我们假设函数是 y=x^2+1,那么如何使得这个函数达到最小值呢，简单的理解，就是对x求导，得到 y‘=\frac{1}{2}x ，然后用梯度下降的方式，如果初始值是（0的左边）负值,那么这 …