PyTorch 导数应用的使用教程
前言
由于机器学习的基本思想就是找到一个函数去拟合样本数据分布,因此就涉及到了梯度去求最小值,在超平面我们又很难直接得到全局最优值,更没有通用性,因此我们就想办法让梯度沿着负方向下降,那么我们就能得到一个局部或全局的最优值了,因此导数就在机器学习中显得非常重要了
基本使用
tensor.backward()可以及自动将梯度累加积到tensor.grad上
x=torch.ones(3,3) print(x.requires_grad) x.requires_grad_(True) print(x.requires_grad) y=x**2/(x-2) out=y.mean() print(x.grad) out.backward() print(x.grad)
False
True
None
tensor([[-0.3333,-0.3333,-0.3333],
[-0.3333,-0.3333,-0.3333],
[-0.3333,-0.3333,-0.3333]])
requires_grad可以获取到tensor是否可导
requires_grad_()可以设置tensor是否可导
grad查看当前tensor导数
上面的公式很简单,程序含义
1/4*(x**2)/(x-2)
求x的导数,基本公式在下方
注意点
我们使用.mean后得到的是标量,如果不是标量会报错
x=torch.ones(3,requires_grad=True) y=x*2 y=y*2 print(y)
tensor([4.,4.,4.],grad_fn=)
y.backward() print(x.grad)
报错
RuntimeError:gradcanbeimplicitlycreatedonlyforscalaroutputs
v=torch.tensor([0.1,1.0,0.0001],dtype=torch.float) y.backward() print(x.grad)
tensor([4.0000e-01,4.0000e+00,4.0000e-04])
no_grad()作用域
如果想要某部分程序不可导那么我们可以使用这个
x=torch.ones(3,requires_grad=True) y=x*2 print(y.requires_grad) withtorch.no_grad(): y=y*2 print(y.requires_grad)
True
False
总结
这一章我们使用pytorch里面的backward,自动实现了函数的求导,帮助我们在后面面对很多超大参数量的函数的时候,求导就变得游刃有余
上节
PyTorch使用教程-安装与基本使用
到此这篇关于PyTorch导数应用的使用教程的文章就介绍到这了,更多相关PyTorch导数应用内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。