TensorFlow梯度求解tf.gradients实例
我就废话不多说了，直接上代码吧！
importtensorflowastf w1=tf.Variable([[1,2]]) w2=tf.Variable([[3,4]]) res=tf.matmul(w1,[[2],[1]]) grads=tf.gradients(res,[w1]) withtf.Session()assess: tf.global_variables_initializer().run() printsess.run(res) printsess.run(grads)
输出结果为：
[[4]] [array([[2,1]],dtype=int32)]
可以这样看res与w1有关，w1的参数设为[a1,a2],则：
2*a1+a2=res
所以res对a1,a2求导可得[[2,1]]为w1对应的梯度信息。
importtensorflowastf
defgradient_clip(gradients,max_gradient_norm):
"""Clippinggradientsofamodel."""
clipped_gradients,gradient_norm=tf.clip_by_global_norm(
gradients,max_gradient_norm)
gradient_norm_summary=[tf.summary.scalar("grad_norm",gradient_norm)]
gradient_norm_summary.append(
tf.summary.scalar("clipped_gradient",tf.global_norm(clipped_gradients)))
returnclipped_gradients
w1=tf.Variable([[3.0,2.0]])
#w2=tf.Variable([[3,4]])
params=tf.trainable_variables()
res=tf.matmul(w1,[[3.0],[1.]])
opt=tf.train.GradientDescentOptimizer(1.0)
grads=tf.gradients(res,[w1])
clipped_gradients=gradient_clip(grads,2.0)
global_step=tf.Variable(0,name='global_step',trainable=False)
#update=opt.apply_gradients(zip(clipped_gradients,params),global_step=global_step)
withtf.Session()assess:
tf.global_variables_initializer().run()
printsess.run(res)
printsess.run(grads)
printsess.run(clipped_gradients)
以上这篇TensorFlow梯度求解tf.gradients实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。