pytorch 输出中间层特征的实例
pytorch输出中间层特征：
tensorflow输出中间特征，2种方式：
1.保存全部模型(包括结构)时，需要之前先add_to_collection或者用slim模块下的end_points
2.只保存模型参数时，可以读取网络结构，然后按照对应的中间层输出即可。
but：Pytorch论坛给出的答案并不好用，无论是hooks，还是重建网络并去掉某些层，这些方法都不好用（在我看来）。
我们可以在创建网络class时，在forward时加入一个dict或者list，dict是将中间层名字与中间层输出分别作为key:value,然后作为第二个值返回。前提是：运行创建自己的网络（无论fine-tune），只保存网络参数。
个人理解：虽然每次运行都返回2个值，但是运行效率基本没有变化。
附上代码例子：
importtorch
importtorchvision
importnumpyasnp
fromtorchimportnn
fromtorch.nnimportinit
fromtorch.autogradimportVariable
fromtorch.utilsimportdata
EPOCH=20
BATCH_SIZE=64
LR=1e-2
train_data=torchvision.datasets.MNIST(root='./mnist',train=True,
transform=torchvision.transforms.ToTensor(),download=False)
train_loader=data.DataLoader(train_data,batch_size=BATCH_SIZE,shuffle=True)
test_data=torchvision.datasets.MNIST(root='./mnist',train=False)
test_x=Variable(torch.unsqueeze(test_data.test_data,dim=1).type(torch.FloatTensor)).cuda()/255
test_y=test_data.test_labels.cuda()
classCNN(nn.Module):
def__init__(self):
super().__init__()
self.conv1=nn.Sequential(
nn.Conv2d(in_channels=1,out_channels=16,kernel_size=4,stride=1,padding=2),
nn.ReLU(),
nn.MaxPool2d(kernel_size=2,stride=2))
self.conv2=nn.Sequential(nn.Conv2d(16,32,4,1,2),nn.ReLU(),nn.MaxPool2d(2,2))
self.out=nn.Linear(32*7*7,10)
defforward(self,x):
per_out=[]############修改处##############
x=self.conv1(x)
per_out.append(x)#conv1
x=self.conv2(x)
per_out.append(x)#conv2
x=x.view(x.size(0),-1)
output=self.out(x)
returnoutput,per_out
cnn=CNN().cuda()#orcnn.cuda()
optimizer=torch.optim.Adam(cnn.parameters(),lr=LR)
loss_func=nn.CrossEntropyLoss().cuda()############################
forepochinrange(EPOCH):
forstep,(x,y)inenumerate(train_loader):
b_x=Variable(x).cuda()#ifchannel==1autoaddc=1
b_y=Variable(y).cuda()
#print(b_x.data.shape)
optimizer.zero_grad()
output=cnn(b_x)[0]##原先只需要cnn(b_x)但是现在需要用到第一个返回值##
loss=loss_func(output,b_y)#Variableneedtoget.data
loss.backward()
optimizer.step()
ifstep%50==0:
test_output=cnn(test_x)[0]
pred_y=torch.max(test_output,1)[1].cuda().data.squeeze()
'''
whydata,becauseVariable.datatoTensor;andcuda()nottonumpy(),musttocpuandtonumpy
and.floatcomputedecimal
'''
accuracy=torch.sum(pred_y==test_y).data.float()/test_y.size(0)
print('EPOCH:',epoch,'|train_loss:%.4f'%loss.data[0],'|testaccuracy:%.2f'%accuracy)
#loss.data.cpu().numpy().item()getonevalue
torch.save(cnn.state_dict(),'./model/model.pth')
##输出中间层特征，根据索引调用##
conv1:conv1=cnn(b_x)[1][0]
conv2:conv2=cnn(b_x)[1][1]
##########################
res=torchvision.models.resnet18() defget_features_hook(self,input,output):#self代表类模块本身 print(output.data.cpu().numpy().shape) handle=res.layer2.register_forward_hook(get_features_hook) a=torch.ones([1,3,224,224])
b=res(a)直接打印出layer2的输出形状，但是不好用。因为，实际中，我们需要return，而hook明确指出不可以return只能print。
所以，不建议使用hook。
以上这篇pytorch输出中间层特征的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。