基于梯度爆炸的解决方法:clip gradient
1.梯度爆炸的影响
在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成errorsurface，其中有一堵墙，如下所示
损失函数每次迭代都是每次一小步，但是当遇到这堵墙时，在墙上的某点计算梯度，梯度会瞬间增大，指向某处不理想的位置。如果我们使用缩放，可以把误导控制在可接受范围内，如虚线箭头所示
2.解决梯度爆炸问题的方法
通常会使用一种叫”clipgradients“的方法.它能有效地权重控制在一定范围之内.
算法步骤如下。
首先设置一个梯度阈值：clip_gradient
在后向传播中求出各参数的梯度，这里我们不直接使用梯度进去参数更新，我们求这些梯度的l2范数
然后比较梯度的l2范数||g||与clip_gradient的大小
如果前者大，求缩放因子clip_gradient/||g||,由缩放因子可以看出梯度越大，则缩放因子越小，这样便很好地控制了梯度的范围
最后将梯度乘上缩放因子便得到最后所需的梯度
3.有无clip_gradient在GRU模型中的结果比较
无clip_gradient
可以很清楚地发现在2000次迭代出发生了梯度爆炸，最终影响了训练的效果。
有clip_gradient
可以发现clip_gradient在前期有效了控制了梯度爆炸的影响，使得最终的loss能下降到满意的结果
以上这篇基于梯度爆炸的解决方法:clipgradient就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。