关于tensorflow的几种参数初始化方法小结
在tensorflow中,经常会遇到参数初始化问题,比如在训练自己的词向量时,需要对原始的embeddigs矩阵进行初始化,更一般的,在全连接神经网络中,每层的权值w也需要进行初始化。
tensorlfow中应该有一下几种初始化方法
1.tf.constant_initializer()常数初始化 2.tf.ones_initializer()全1初始化 3.tf.zeros_initializer()全0初始化 4.tf.random_uniform_initializer()均匀分布初始化 5.tf.random_normal_initializer()正态分布初始化 6.tf.truncated_normal_initializer()截断正态分布初始化 7.tf.uniform_unit_scaling_initializer()这种方法输入方差是常数 8.tf.variance_scaling_initializer()自适应初始化 9.tf.orthogonal_initializer()生成正交矩阵
具体的
1、tf.constant_initializer(),它的简写是tf.Constant()
#coding:utf-8 importnumpyasnp importtensorflowastf train_inputs=[[1,2],[1,4],[3,2]] withtf.variable_scope("embedding-layer"): val=np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]]) const_init=tf.constant_initializer(val) embeddings=tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init) embed=tf.nn.embedding_lookup(embeddings,train_inputs)#在embedding中查找train_input所对应的表示 print("embed",embed) sum_embed=tf.reduce_mean(embed,1) initall=tf.global_variables_initializer() withtf.Session()assess: sess.run(initall) print(sess.run(embed)) print(sess.run(tf.shape(embed))) print(sess.run(sum_embed))
4、random_uniform_initializer=RandomUniform()
可简写为tf.RandomUniform()
生成均匀分布的随机数,参数有四个(minval=0,maxval=None,seed=None,dtype=dtypes.float32),分别用于指定最小值,最大值,随机数种子和类型。
6、tf.truncated_normal_initializer()
可简写tf.TruncatedNormal()
生成截断正态分布的随机数,这个初始化方法在tf中用得比较多。
它有四个参数(mean=0.0,stddev=1.0,seed=None,dtype=dtypes.float32),分别用于指定均值、标准差、随机数种子和随机数的数据类型,一般只需要设置stddev这一个参数就可以了。
8、tf.variance_scaling_initializer()
可简写为tf.VarianceScaling()
参数为(scale=1.0,mode="fan_in",distribution="normal",seed=None,dtype=dtypes.float32)
scale:缩放尺度(正浮点数)
mode:"fan_in","fan_out","fan_avg"中的一个,用于计算标准差stddev的值。
distribution:分布类型,"normal"或“uniform"中的一个。
当distribution="normal"的时候,生成truncatednormaldistribution(截断正态分布)的随机数,其中stddev=sqrt(scale/n),n的计算与mode参数有关。
如果mode="fan_in",n为输入单元的结点数;
如果mode="fan_out",n为输出单元的结点数;
如果mode="fan_avg",n为输入和输出单元结点数的平均值。
当distribution="uniform”的时候,生成均匀分布的随机数,假设分布区间为[-limit,limit],则limit=sqrt(3*scale/n)
以上这篇关于tensorflow的几种参数初始化方法小结就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。