没有合适的资源?快使用搜索试试~ 我知道了~
tensorflow中四种不同交叉熵函数tf.nn.softmax_cross_entropy_with_logits() -
需积分: 0 1 下载量 122 浏览量
2022-08-03
13:26:30
上传
评论
收藏 983KB PDF 举报
温馨提示
试读
5页
一、sigmoid交叉熵 二、softmax交叉熵 三、sparse_softmax交叉熵 四、weighted交叉熵
资源推荐
资源详情
资源评论
2018/10/30 tensorflow中四种不同交叉熵函数tf.nn.softmax_cross_entropy_with_logits() - Mr番茄蛋的博客 - CSDN博客
https://blog.csdn.net/qq_35203425/article/details/79773459 1/8
博客 学院 下载 图文课 论坛 APP 问答 商城 VIP会员 活动 招聘 ITeye GitChat
搜博主文章
写博客 发Chat
原
tensorflow中四种不同交叉熵函数tf.nn.softmax_cross_entropy_with_logits()
2018年03月31日 22:20:53 Mr番茄蛋 阅读数:919
版权声明: https://blog.csdn.net/qq_35203425/article/details/79773459
Tensorflow中的交叉熵函数
tensorflow中自带四种交叉熵函数,可以轻松的实现交叉熵的计算。
注意:tensorflow交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出,而是softmax或sigmoid函数的输入,因为它在函数内部进行sigmoid或
作。而且不能在交叉熵函数前进行softmax或sigmoid,会导致计算会出错。
一、sigmoid交叉熵
tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)
argument:
_sentinel:本质上是不用的参数,不用填
logits:计算的输出,注意是为使用softmax或sigmoid的,维度一般是[batch_size, num_classes] ,单样本是[num_classes]。数据类型(type)是float32
labels:和logits具有相同的type(float)和shape的张量(tensor),即数据类型和张量维度都一致。
name:操作的名字,可填可不填
output:
loss,shape:[batch_size,num_classes]
注意:它对于输入的logits先通过sigmoid函数计算,再计算它们的交叉熵,但是它对交叉熵的计算方式进行了优化,使得结果不至于溢出。output不是一
个batch中每个样本的loss,所以一般配合tf.reduce_mea(loss)使用。
例子:
1 tf.nn.softmax_cross_entropy_with_logits()
2 tf.nn.sparse_softmax_cross_entropy_with_logits()
3 tf.nn.sigmoid_cross_entropy_with_logits()
4 tf.nn.weighted_cross_entropy_with_logits()
import tensorflow as tf
import numpy as np
def sigmoid(x):
return 1.0 / (1 + np.exp(-x))
# 5个样本三分类问题,且一个样本可以同时拥有多类
y = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 1, 0], [0, 1, 0]])
logits = np.array([[12, 3, 2], [3, 10, 1], [1, 2, 5], [4, 6.5, 1.2], [3, 6, 1]])
y_pred = sigmoid(logits)
E1 = -y * np.log(y_pred) - (1 - y) * np.log(1 - y_pred)
print('按计算公式计算的结果:',E1) # 按计算公式计算的结果
sess = tf.Session()
y = np.array(y).astype(np.float64) # labels是float64的数据类型
E2 = sess.run(tf.nn.sigmoid_cross_entropy_with_logits(labels=y, logits=logits))
print('tf计算的结果:',E2)
# 输出的E1,E2结果相同
开发者调查 AI开发者大会日程曝光 全场课程特价最后 1 天
登录 注册
浙江大学在职研究生
1
资源评论
小崔个人精进录
- 粉丝: 31
- 资源: 317
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功