softmax网络的两种实现资源-CSDN文库

共2个文件

py：2个

需积分: 5 156 浏览量 2022-06-28 19:11:32 上传评论收藏 2KB RAR 举报

softmax网络在机器学习领域，尤其是深度学习中，是一种常见的激活函数，用于将多类别的概率进行规范化。它常被应用于神经网络的输出层，确保输出的各个类别的概率之和为1，使得结果更容易解释。在本教程中，我们将探讨softmax网络的两种实现方式：从零开始手动编写代码和利用d2lzh_pytorch库中的高级功能。从零开始实现softmax网络涉及到几个关键步骤。我们需要理解softmax函数的数学定义。softmax函数通常对输入向量`x`中的每个元素`x[i]`执行指数运算，然后除以所有元素的总和，公式如下： softmax(xi) = exp(xi) / ∑(exp(xj)) 这个过程确保了输出是一个概率分布，因为每个元素的值都在0到1之间，且所有元素的和为1。在Python中，我们可以这样实现： ```python import torch def softmax(x): exp_x = torch.exp(x - x.max(dim=1, keepdim=True)[0]) return exp_x / exp_x.sum(dim=1, keepdim=True) ``` 接下来，我们考虑如何在神经网络模型中集成softmax。假设我们有一个简单的全连接层（Dense Layer）作为网络的最后层，我们可以这样做： ```python class SoftmaxNet: def __init__(self, input_size, num_classes): self.fc = torch.nn.Linear(input_size, num_classes) def forward(self, X): logits = self.fc(X) probas = softmax(logits) return probas ``` 另一种实现方式是利用d2lzh_pytorch库，这是一个用于深度学习教学的Python库，它封装了许多PyTorch的功能。在d2lzh_pytorch中，我们可以直接使用内置的`F.softmax`函数来计算softmax，简化了代码： ```python from d2lzh_pytorch import F class SoftmaxNetWithLibrary: def __init__(self, input_size, num_classes): self.fc = torch.nn.Linear(input_size, num_classes) def forward(self, X): logits = self.fc(X) probas = F.softmax(logits) return probas ``` 这两种实现方式在功能上是等价的，但使用库函数可以减少代码量，并且往往更高效，因为它们通常经过优化。然而，从零开始编写代码有助于理解底层的工作原理，对于学习和调试非常有用。在实际应用中，softmax网络通常与交叉熵损失函数一起使用，因为交叉熵是衡量分类问题中概率分布差异的标准度量。训练时，我们会用反向传播算法更新网络参数，以最小化预测概率分布与真实标签之间的交叉熵损失。 softmax网络是多分类问题中不可或缺的一部分，它提供了概率解释的输出。通过从零开始实现和使用d2lzh_pytorch库，我们可以更好地理解和运用这一概念。在实际项目中，根据需求和对效率的考虑，可以选择适合的实现方式。

资源详情

资源评论

资源推荐

收起资源包目录

softmax.rar （2个子文件）

softmax

softmax.py 4KB

softmax_easy.py 2KB

import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt import time import numpy as np import sys sys.path.append("..") # 为了导⼊上层⽬录的d2lzh_pytorch import d2lzh_pytorch as d2l mnist_train =torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST', train=True, download=True, transform=transforms.ToTensor()) mnist_test =torchvision.datasets.FashionMNIST(root='~/Datasets/FashionMNIST', train=False, download=True, transform=transforms.ToTensor()) batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size) num_inputs = 784 num_outputs = 10 W = torch.tensor(np.random.normal(0, 0.01, (num_inputs,num_outputs)), dtype=torch.float) b = torch.zeros(num_outputs, dtype=torch.float) W.requires_grad_(requires_grad=True) b.requires_grad_(requires_grad=True) def get_fashion_mnist_labels(labels): text_labels = ['t-shirt', 'trouser', 'pullover', 'dress','coat','sandal', 'shirt', 'sneaker', 'bag', 'ankleboot'] return [text_labels[int(i)] for i in labels] def show_fashion_mnist(images, labels): d2l.use_svg_display() # 这⾥的_表示我们忽略（不使⽤）的变量 _, figs = plt.subplots(1, len(images), figsize=(12, 12)) for f, img, lbl in zip(figs, images, labels): f.imshow(img.view((28, 28)).numpy()) f.set_title(lbl) f.axes.get_xaxis().set_visible(False) f.axes.get_yaxis().set_visible(False) plt.show() def softmax(X): X_exp = X.exp() partition = X_exp.sum(dim=1, keepdim=True) return X_exp / partition # 这⾥应⽤了⼴播机制 def net(X): return softmax(torch.mm(X.view((-1, num_inputs)), W) + b) def cross_entropy(y_hat, y): return - torch.log(y_hat.gather(1, y.view(-1, 1))) def accuracy(y_hat, y): return (y_hat.argmax(dim=1) == y).float().mean().item() def evaluate_accuracy(data_iter, net): acc_sum, n = 0.0, 0 for X, y in data_iter: acc_sum += (net(X).argmax(dim=1) == y).float().sum().item() n += y.shape[0] return acc_sum / n num_epochs, lr = 5, 0.1 def train_ch3(net, train_iter, test_iter, loss, num_epochs,batch_size,params=None, lr=None, optimizer=None): for epoch in range(num_epochs): train_l_sum, train_acc_sum, n = 0.0, 0.0, 0 for X, y in train_iter: y_hat = net(X) l = loss(y_hat, y).sum() # 梯度清零 if optimizer is not None: optimizer.zero_grad() elif params is not None and params[0].grad is not None: for param in params: param.grad.data.zero_() l.backward() if optimizer is None: d2l.sgd(params, lr, batch_size) else: optimizer.step() # “softmax回归的简洁实现”⼀节将⽤到 train_l_sum += l.item() train_acc_sum += (y_hat.argmax(dim=1) ==y).sum().item() n += y.shape[0] test_acc = evaluate_accuracy(test_iter, net) print('epoch %d, loss %.4f, train acc %.3f, test acc %.3f'% (epoch + 1, train_l_sum / n, train_acc_sum / n,test_acc)) train_ch3(net, train_iter, test_iter, cross_entropy, num_epochs,batch_size, [W, b], lr) X, y = iter(test_iter).next() true_labels = d2l.get_fashion_mnist_labels(y.numpy()) pred_labels =d2l.get_fashion_mnist_labels(net(X).argmax(dim=1).numpy()) titles = [true + '\n' + pred for true, pred in zip(true_labels,pred_labels)] d2l.show_fashion_mnist(X[0:9], titles[0:9])