【免费】自用自用笔记自用自用笔记自用自用笔记自用自用笔记自用自用笔记资源-CSDN文库

自动驾驶

需积分: 0 96 浏览量 2023-11-26 21:08:24 上传评论收藏 53.62MB PDF 举报

资源推荐

资源详情

资源评论

唐宇迪项目笔记

第二章递归神经网络

1 什么是递归神经网络

(1条消息) 【深度学习】递归神经网络

变参递归神经网络

余思荷的博客-CSDN博客

(1条消息) 如何从RNN起步，一步一步通俗理解LSTM_lstm网络_v_JULY_v的博客-CSDN博客

(1条消息) 循环和递归神经网络

递归神经网络与循环神经网络

zoe_cf的博客-CSDN博客

因为神经网络有递归关系，所以会产生时间变量（第二次迭代必定在第一次迭代之后）

每次迭代有时间节点关系，一般我们只选最后一层的输出结果

CNN:计算机视觉

RNN:自然语言处理：因为词语有先后顺序

2 LSTM网络

因为RNN网络的记忆能力太强了，每次的迭代全部记忆，最后的结果会把前面全部的结果全部考虑进

来，考虑问题就不再精确，会导致模型训练的误差，LSTM网络应运而生

LSTM网络是将信息进行遗忘

3 自然语言处理-词向量模型-Word2Vec

让计算机更好的认识文本：有些词出现的比较近，在词向量空间上比较一致（比如足球，篮球）

第三章 pytorch核心框架

LSTM实战训练

完整代码

import time

import torch

import numpy as np

from train_eval import train, init_network

from importlib import import_module

import argparse

from tensorboardX import SummaryWriter

# --model TextCNN

parser = argparse.ArgumentParser(description='Chinese Text Classification')

parser.add_argument('--model', type=str, required=True, help='choose a

model: TextCNN, TextRNN, FastText, TextRCNN, TextRNN_Att, DPCNN,

Transformer')

parser.add_argument('--embedding', default='pre_trained', type=str,

help='random or pre_trained')

parser.add_argument('--word', default=False, type=bool, help='True for

word, False for char')

东北大学视觉实验室ydp

python 回顾

https://blog.csdn.net/xiaoxianer321/article/

details/116723566?ops_request_misc=%257B%2522request

%255Fid%2522%253A%

2522169904160916800226521743%2522%252C%2522scm

%2522%253A%252220140713.130102334..%2522%

257D&request_id=169904160916800226521743&biz_id=0&

utm_medium=distribute.pc_search_result.none-task-

blog-2~all~sobaiduend~default-11-116723566-null-

null.142^v96^pc_search_result_base7&utm_term=python&sp

m=1018.2226.3001.4187

       else:

         nn.init.normal_(w)

     elif 'bias' in name:

       nn.init.constant_(w, 0)

     else:

       pass

def train(config, model, train_iter, dev_iter, test_iter,writer):

 start_time = time.time()

 model.train()

 optimizer = torch.optim.Adam(model.parameters(),

lr=config.learning_rate)

 # 学习率指数衰减，每次epoch：学习率 = gamma * 学习率

 # scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer,

gamma=0.9)

 total_batch = 0 # 记录进行到多少batch

 dev_best_loss = float('inf')

 last_improve = 0 # 记录上次验证集loss下降的batch数

 flag = False # 记录是否很久没有效果提升

 #writer = SummaryWriter(log_dir=config.log_path + '/' +

time.strftime('%m-%d_%H.%M', time.localtime()))

 for epoch in range(config.num_epochs):

   print('Epoch [{}/{}]'.format(epoch + 1, config.num_epochs))

   # scheduler.step() # 学习率衰减

   for i, (trains, labels) in enumerate(train_iter):

     #print (trains[0].shape)

     outputs = model(trains)

     model.zero_grad()

     loss = F.cross_entropy(outputs, labels)

     loss.backward()

     optimizer.step()

     if total_batch % 100 == 0:

       # 每多少轮输出在训练集和验证集上的效果

       true = labels.data.cpu()

       predic = torch.max(outputs.data, 1)[1].cpu()

       # accuracy 准确率调库

       train_acc = metrics.accuracy_score(true, predic)

       dev_acc, dev_loss = evaluate(config, model, dev_iter)

       if dev_loss < dev_best_loss: # 判断损失是最好的模型

         dev_best_loss = dev_loss

         torch.save(model.state_dict(), config.save_path)

         improve = '*'

         last_improve = total_batch

       else:

         improve = ''

       time_dif = get_time_dif(start_time)

       msg = 'Iter: {0:>6}, Train Loss: {1:>5.2}, Train Acc:

{2:>6.2%}, Val Loss: {3:>5.2}, Val Acc: {4:>6.2%}, Time: {5} {6}'

       print(msg.format(total_batch, loss.item(), train_acc,

dev_loss, dev_acc, time_dif, improve))

       writer.add_scalar("loss/train", loss.item(), total_batch)

       writer.add_scalar("loss/dev", dev_loss, total_batch)

       writer.add_scalar("acc/train", train_acc, total_batch)

东北大学视觉实验室ydp

.pth文件是保存好的模型数据

       writer.add_scalar("acc/dev", dev_acc, total_batch)

       model.train()

     total_batch += 1

     if total_batch - last_improve > config.require_improvement:

       # 验证集loss超过1000 batch没下降，结束训练

       print("No optimization for a long time, auto-stopping...")

       flag = True

       break

   if flag:

     break

 writer.close()

 test(config, model, test_iter)

# 测试集数据

def test(config, model, test_iter):

 # test

 model.load_state_dict(torch.load(config.save_path))

 model.eval()

 start_time = time.time()

 test_acc, test_loss, test_report, test_confusion = evaluate(config,

model, test_iter, test=True)

 msg = 'Test Loss: {0:>5.2}, Test Acc: {1:>6.2%}'

 print(msg.format(test_loss, test_acc))

 print("Precision, Recall and F1-Score...")

 print(test_report)

 print("Confusion Matrix...")

 print(test_confusion)

 time_dif = get_time_dif(start_time)

 print("Time usage:", time_dif)

def evaluate(config, model, data_iter, test=False):

 model.eval()

 loss_total = 0

 predict_all = np.array([], dtype=int)

 labels_all = np.array([], dtype=int)

 with torch.no_grad():

   for texts, labels in data_iter:

     outputs = model(texts)

     loss = F.cross_entropy(outputs, labels)

     loss_total += loss

     labels = labels.data.cpu().numpy()

     predic = torch.max(outputs.data, 1)[1].cpu().numpy()

     labels_all = np.append(labels_all, labels)

     predict_all = np.append(predict_all, predic)

 acc = metrics.accuracy_score(labels_all, predict_all)

 if test:

   report = metrics.classification_report(labels_all, predict_all,

target_names=config.class_list, digits=4)

   confusion = metrics.confusion_matrix(labels_all, predict_all)

   return acc, loss_total / len(data_iter), report, confusion

 return acc, loss_total / len(data_iter)

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

东北大学视觉实验室ydp

剩余1275页未读，继续阅读

评论收藏

内容反馈

ydp15755423176

粉丝: 102
资源: 4

自用自用笔记自用自用笔记自用自用笔记自用自用笔记自用自用笔记

MyNote:自用笔记

自用：自用

一个数据集 自用 自用 自用 自用 自用

HTML（软测）笔记 自用！自用！ 自用！

自用资料

ajax自用笔记非常不错

Redis笔记自学 学习笔记 自用

python自用笔记综合

自用的软件

自用；自用；自用；自用；自用；自用；自用；自用；自用；自用；自用；

Django笔记（自用）

flex布局（自用自用自用自用自用）

games101自用笔记

rocketmq自用笔记1

数据库期末复习笔记自用

python自用资源【自用笔记+游戏简易版】

c++笔记自用 有意者私聊

自用用来记笔记的好工具，非常方便

自用元件库

自用怪自用怪自用怪自用怪自用怪自用怪自用怪自用怪

自用虚拟机。。。。。。

WcCustomTabViewPager:自用

自用GDBDGDBBDBDB

sklearning学习笔记自用向

OS鼓掌修复的一些自用笔记

信号与线性系统分析自用笔记

信息系统安全期末复习笔记自用

根号分治与莫队学习笔记自用

最新资源

一个数据集自用自用自用自用自用

HTML（软测）笔记自用！自用！自用！

Redis笔记自学学习笔记自用

c++笔记自用有意者私聊