TensorFlow模型保存/载入的两种方法
TensorFlow模型保存/载入
我们在上线使用一个算法模型的时候,首先必须将已经训练好的模型保存下来。tensorflow保存模型的方式与sklearn不太一样,sklearn很直接,一个sklearn.externals.joblib的dump与load方法就可以保存与载入使用。而tensorflow由于有graph,operation这些概念,保存与载入模型稍显麻烦。
一、基本方法
网上搜索tensorflow模型保存,搜到的大多是基本的方法。即
保存
- 定义变量
- 使用saver.save()方法保存
载入
- 定义变量
- 使用saver.restore()方法载入
如保存代码如下
importtensorflowastf importnumpyasnp W=tf.Variable([[1,1,1],[2,2,2]],dtype=tf.float32,name='w') b=tf.Variable([[0,1,2]],dtype=tf.float32,name='b') init=tf.initialize_all_variables() saver=tf.train.Saver() withtf.Session()assess: sess.run(init) save_path=saver.save(sess,"save/model.ckpt")
载入代码如下
importtensorflowastf importnumpyasnp W=tf.Variable(tf.truncated_normal(shape=(2,3)),dtype=tf.float32,name='w') b=tf.Variable(tf.truncated_normal(shape=(1,3)),dtype=tf.float32,name='b') saver=tf.train.Saver() withtf.Session()assess: saver.restore(sess,"save/model.ckpt")
这种方法不方便的在于,在使用模型的时候,必须把模型的结构重新定义一遍,然后载入对应名字的变量的值。但是很多时候我们都更希望能够读取一个文件然后就直接使用模型,而不是还要把模型重新定义一遍。所以就需要使用另一种方法。
二、不需重新定义网络结构的方法
tf.train.import_meta_graph import_meta_graph( meta_graph_or_file, clear_devices=False, import_scope=None, **kwargs )
这个方法可以从文件中将保存的graph的所有节点加载到当前的defaultgraph中,并返回一个saver。也就是说,我们在保存的时候,除了将变量的值保存下来,其实还有将对应graph中的各种节点保存下来,所以模型的结构也同样被保存下来了。
比如我们想要保存计算最后预测结果的y,则应该在训练阶段将它添加到collection中。具体代码如下
保存
###定义模型 input_x=tf.placeholder(tf.float32,shape=(None,in_dim),name='input_x') input_y=tf.placeholder(tf.float32,shape=(None,out_dim),name='input_y') w1=tf.Variable(tf.truncated_normal([in_dim,h1_dim],stddev=0.1),name='w1') b1=tf.Variable(tf.zeros([h1_dim]),name='b1') w2=tf.Variable(tf.zeros([h1_dim,out_dim]),name='w2') b2=tf.Variable(tf.zeros([out_dim]),name='b2') keep_prob=tf.placeholder(tf.float32,name='keep_prob') hidden1=tf.nn.relu(tf.matmul(self.input_x,w1)+b1) hidden1_drop=tf.nn.dropout(hidden1,self.keep_prob) ###定义预测目标 y=tf.nn.softmax(tf.matmul(hidden1_drop,w2)+b2) #创建saver saver=tf.train.Saver(...variables...) #假如需要保存y,以便在预测时使用 tf.add_to_collection('pred_network',y) sess=tf.Session() forstepinxrange(1000000): sess.run(train_op) ifstep%1000==0: #保存checkpoint,同时也默认导出一个meta_graph #graph名为'my-model-{global_step}.meta'. saver.save(sess,'my-model',global_step=step)
载入
withtf.Session()assess: new_saver=tf.train.import_meta_graph('my-save-dir/my-model-10000.meta') new_saver.restore(sess,'my-save-dir/my-model-10000') #tf.get_collection()返回一个list.但是这里只要第一个参数即可 y=tf.get_collection('pred_network')[0] graph=tf.get_default_graph() #因为y中有placeholder,所以sess.run(y)的时候还需要用实际待预测的样本以及相应的参数来填充这些placeholder,而这些需要通过graph的get_operation_by_name方法来获取。 input_x=graph.get_operation_by_name('input_x').outputs[0] keep_prob=graph.get_operation_by_name('keep_prob').outputs[0] #使用y进行预测 sess.run(y,feed_dict={input_x:....,keep_prob:1.0})
这里有两点需要注意的:
一、saver.restore()时填的文件名,因为在saver.save的时候,每个checkpoint会保存三个文件,如
my-model-10000.meta,my-model-10000.index,my-model-10000.data-00000-of-00001
在import_meta_graph时填的就是meta文件名,我们知道权值都保存在my-model-10000.data-00000-of-00001这个文件中,但是如果在restore方法中填这个文件名,就会报错,应该填的是前缀,这个前缀可以使用tf.train.latest_checkpoint(checkpoint_dir)这个方法获取。
二、模型的y中有用到placeholder,在sess.run()的时候肯定要feed对应的数据,因此还要根据具体placeholder的名字,从graph中使用get_operation_by_name方法获取。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。