关于tensorflow的几种参数初始化方法小结_glorot初始化资源-CSDN文库

74 浏览量 2021-01-20 03:57:45 上传评论收藏 50KB PDF 举报

资源推荐

资源详情

资源评论

关于关于tensorflow的几种参数初始化方法小结的几种参数初始化方法小结

在tensorflow中，经常会遇到参数初始化问题，比如在训练自己的词向量时，需要对原始的embeddigs矩阵进行初始化，更一

般的，在全连接神经网络中，每层的权值w也需要进行初始化。

tensorlfow中应该有一下几种初始化方法中应该有一下几种初始化方法

1. tf.constant_initializer() 常数初始化

2. tf.ones_initializer() 全1初始化

3. tf.zeros_initializer() 全0初始化

4. tf.random_uniform_initializer() 均匀分布初始化

5. tf.random_normal_initializer() 正态分布初始化

6. tf.truncated_normal_initializer() 截断正态分布初始化

7. tf.uniform_unit_scaling_initializer() 这种方法输入方差是常数

8. tf.variance_scaling_initializer() 自适应初始化

9. tf.orthogonal_initializer() 生成正交矩阵

具体的

1、、tf.constant_initializer()，它的简写是，它的简写是tf.Constant()

#coding:utf-8

import numpy as np

import tensorflow as tf

train_inputs = [[1,2],[1,4],[3,2]] with tf.variable_scope("embedding-layer"):

val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]])

const_init = tf.constant_initializer(val)

embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init)

embed = tf.nn.embedding_lookup(embeddings, train_inputs) #在embedding中查找train_input所对应的表示

print("embed",embed)

sum_embed = tf.reduce_mean(embed,1)

initall = tf.global_variables_initializer()

with tf.Session() as sess:

sess.run(initall)

print(sess.run(embed))

print(sess.run(tf.shape(embed)))

print(sess.run(sum_embed))

4、、random_uniform_initializer = RandomUniform()

可简写为tf.RandomUniform()

生成均匀分布的随机数，参数有四个（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分别用于指定最小值，

最大值，随机数种子和类型。

6、、tf.truncated_normal_initializer()

可简写tf.TruncatedNormal()

生成截断正态分布的随机数，这个初始化方法在tf中用得比较多。

它有四个参数（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分别用于指定均值、标准差、随机数种子和随机

数的数据类型，一般只需要设置stddev这一个参数就可以了。

8、、tf.variance_scaling_initializer()

可简写为tf.VarianceScaling()

参数为（scale=1.0,mode=”fan_in”,distribution=”normal”,seed=None，dtype=dtypes.float32)

scale: 缩放尺度（正浮点数）

mode: “fan_in”, “fan_out”, “fan_avg”中的一个，用于计算标准差stddev的值。

distribution：分布类型，”normal”或“uniform”中的一个。

当 distribution=”normal” 的时候，生成truncated normal distribution（截断正态分布）的随机数，其中stddev = sqrt(scale / n)

，n的计算与mode参数有关。

如果mode = “fan_in”， n为输入单元的结点数；

如果mode = “fan_out”，n为输出单元的结点数；

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

内容反馈

weixin_38680664

粉丝: 2
资源: 941

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip