pytorch 指定gpu训练与多gpu并行训练示例
一.指定一个gpu训练的两种方法：
1.代码中指定
importtorch torch.cuda.set_device(id)
2.终端中指定
CUDA_VISIBLE_DEVICES=1python你的程序
其中id就是你的gpu编号
二.多gpu并行训练：
torch.nn.DataParallel(module,device_ids=None,output_device=None,dim=0)
该函数实现了在module级别上的数据并行使用，注意batchsize要大于GPU的数量。
参数：
module：需要多GPU训练的网络模型
device_ids：GPU的编号（默认全部GPU，或[0,1],[0,1,2]）
output_device：（默认是device_ids[0])
dim：tensors被分散的维度，默认是0
在保存模型时要注意要加上"module",例如：
network.module.state_dict()
以上这篇pytorch指定gpu训练与多gpu并行训练示例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。