numpy实现RNN原理实现
首先说明代码只是帮助理解，并未写出梯度下降部分，默认参数已经被固定，不影响理解。代码主要实现RNN原理，只使用numpy库，不可用于GPU加速。
importnumpyasnp
classRnn():
def__init__(self,input_size,hidden_size,num_layers,bidirectional=False):
self.input_size=input_size
self.hidden_size=hidden_size
self.num_layers=num_layers
self.bidirectional=bidirectional
deffeed(self,x):
'''
:paramx:[seq,batch_size,embedding]
:return:out,hidden
'''
#x.shape[sep,batch,feature]
#hidden.shape[hidden_size,batch]
#Whh0.shape[hidden_size,hidden_size]Wih0.shape[hidden_size,feature]
#Whh1.shape[hidden_size,hidden_size]Wih1.size[hidden_size,hidden_size]
out=[]
x,hidden=np.array(x),[np.zeros((self.hidden_size,x.shape[1]))foriinrange(self.num_layers)]
Wih=[np.random.random((self.hidden_size,self.hidden_size))foriinrange(1,self.num_layers)]
Wih.insert(0,np.random.random((self.hidden_size,x.shape[2])))
Whh=[np.random.random((self.hidden_size,self.hidden_size))foriinrange(self.num_layers)]
time=x.shape[0]
foriinrange(time):
hidden[0]=np.tanh((np.dot(Wih[0],np.transpose(x[i,...],(1,0)))+
np.dot(Whh[0],hidden[0])
))
foriinrange(1,self.num_layers):
hidden[i]=np.tanh((np.dot(Wih[i],hidden[i-1])+
np.dot(Whh[i],hidden[i])
))
out.append(hidden[self.num_layers-1])
returnnp.array(out),np.array(hidden)
defsigmoid(x):
return1.0/(1.0+1.0/np.exp(x))
if__name__=='__main__':
rnn=Rnn(1,5,4)
input=np.random.random((6,2,1))
out,h=rnn.feed(input)
print(f'seqis{input.shape[0]},batch_sizeis{input.shape[1]}','out.shape',out.shape,'h.shape',h.shape)
#print(sigmoid(np.random.random((2,3))))
#
#element-wisemultiplication
#print(np.array([1,2])*np.array([2,1]))
到此这篇关于numpy实现RNN原理实现的文章就介绍到这了,更多相关numpy实现RNN内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。