# 基于Pytorch实现的语音情感识别系统
本项目是一个语音情感识别项目,使用多种的预处理方法,使用多种模型,实现了语音情感识别。
**欢迎大家扫码入知识星球或者QQ群讨论,知识星球里面提供项目的模型文件和博主其他相关项目的模型文件,也包括其他一些资源。**
# 使用准备
- Anaconda 3
- Python 3.8
- Pytorch 1.13.1
- Windows 10 or Ubuntu 18.04
# 模型测试表
| 模型 | Params(M) | 预处理方法 | 数据集 | 类别数量 | 准确率 | 获取模型 |
|:---------:|:---------:|:-------------:|:-------:|:----:|:-------:|:--------:|
| BiLSTM | 2.10 | Emotion2Vec | RAVDESS | 8 | 0.85333 | 加入知识星球获取 |
| BiLSTM | 1.87 | CustomFeature | RAVDESS | 8 | 0.68666 | 加入知识星球获取 |
| BaseModel | 0.19 | Emotion2Vec | RAVDESS | 8 | 0.85333 | 加入知识星球获取 |
| BaseModel | 0.08 | CustomFeature | RAVDESS | 8 | 0.68000 | 加入知识星球获取 |
| BiLSTM | 2.10 | Emotion2Vec | 更大数据集 | 9 | 0.91826 | 加入知识星球获取 |
| BiLSTM | 1.87 | CustomFeature | 更大数据集 | 9 | 0.90817 | 加入知识星球获取 |
| BaseModel | 0.19 | Emotion2Vec | 更大数据集 | 9 | 0.92870 | 加入知识星球获取 |
| BaseModel | 0.08 | CustomFeature | 更大数据集 | 9 | 0.91026 | 加入知识星球获取 |
说明:
1. RAVDESS数据集只使用`Audio_Speech_Actors_01-24.zip`
2. 更大数据集数据集有近2.5万条数据,做了数据量均衡的,知识星球也提供了该数据集的特征数据。
## 安装环境
- 首先安装的是Pytorch的GPU版本,如果已经安装过了,请跳过。
```shell
conda install pytorch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 pytorch-cuda=11.8 -c pytorch -c nvidia
```
- 安装mser库。
使用pip安装,命令如下:
```shell
python -m pip install mser -U -i https://pypi.tuna.tsinghua.edu.cn/simple
```
**建议源码安装**,源码安装能保证使用最新代码。
```shell
git clone https://github.com/yeyupiaoling/SpeechEmotionRecognition-Pytorch.git
cd SpeechEmotionRecognition-Pytorch/
pip install .
```
## 准备数据
生成数据列表,用于下一步的读取需要,项目默认提供一个数据集[RAVDESS](https://zenodo.org/record/1188976/files/Audio_Speech_Actors_01-24.zip?download=1),这个数据集的[介绍页面](https://zenodo.org/record/1188976#.XsAXemgzaUk),这个数据包含中性、平静、快乐、悲伤、愤怒、恐惧、厌恶、惊讶八种情感,本项目只使用里面的`Audio_Speech_Actors_01-24.zip`,数据集,说话的语句只有`Kids are talking by the door`和`Dogs are sitting by the door`,可以说这个训练集是非常简单的。下载这个数据集并解压到`dataset`目录下。
然后执行`create_data.py`里面的`create_ravdess_list('dataset/Audio_Speech_Actors_01-24', 'dataset')`函数即可生成数据列表,同时也生成归一化文件,具体看代码。
```shell
python create_data.py
```
如果自定义数据集,可以按照下面格式,`audio_path`为音频文件路径,用户需要提前把音频数据集存放在`dataset/audio`目录下,每个文件夹存放一个类别的音频数据,每条音频数据长度在3秒左右,如 `dataset/audio/angry/······`。`audio`是数据列表存放的位置,生成的数据类别的格式为 `音频路径\t音频对应的类别标签`,音频路径和标签用制表符 `\t`分开。读者也可以根据自己存放数据的方式修改以下函数。
执行`create_data.py`里面的`get_data_list('dataset/audios', 'dataset')`函数即可生成数据列表,同时也生成归一化文件,具体看代码。
```shell
python create_data.py
```
生成的列表是长这样的,前面是音频的路径,后面是该音频对应的标签,从0开始,路径和标签之间用`\t`隔开。
```shell
dataset/Audio_Speech_Actors_01-24/Actor_13/03-01-01-01-02-01-13.wav 0
dataset/Audio_Speech_Actors_01-24/Actor_01/03-01-02-01-01-01-01.wav 1
dataset/Audio_Speech_Actors_01-24/Actor_01/03-01-03-02-01-01-01.wav 2
```
**注意:** `create_data.py`里面的`create_standard('configs/bi_lstm.yml')`函数必须要执行的,这个是生成归一化的文件。
## 训练
训练有两个方法,第一个是提前提取特征,保持在本地,然后在进行训练,这种方法的好处就是训练特别快,因为本项目的特征提取方法比较慢,如果在训练中要提取特征,那么训练会很慢,缺点是没办法使用随机数据增强。第二种就是在训练过程中提取特征,这种好处是可以使用随机数据增强,缺点是训练比较慢。
- 提取特征(可选),执行`extract_features.py`程序即可,特征提取完成需要修改`configs/bi_lstm.yml`里面的`train_list`和`test_list`,将它们修改为新生成的数据列表路径。
```shell
python extract_features.py --configs=configs/bi_lstm.yml
```
输出日志:
```
·······
100%████████████████████████████| 1290/1290 [01:39<00:00, 12.99it/s]
[2024-02-03 14:57:00.699338 INFO ] trainer:get_standard_file:136 - 归一化文件保存在:dataset/standard.m
[2024-02-03 14:57:00.700046 INFO ] featurizer:__init__:23 - 使用的特征方法为 Emotion2Vec
100%|████████████████████████████| 1290/1290 [01:36<00:00, 13.40it/s]
[2024-02-03 14:58:36.941253 INFO ] trainer:extract_features:162 - dataset/train_list.txt列表中的数据已提取特征完成,新列表为:dataset/train_list_features.txt
100%|██████████████████████████████| 150/150 [00:11<00:00, 13.52it/s]
[2024-02-03 14:58:48.036661 INFO ] trainer:extract_features:162 - dataset/test_list.txt列表中的数据已提取特征完成,新列表为:dataset/test_list_features.txt
```
不管是否提前提取特征,接着都可以开始训练模型了,创建 `train.py`。配置文件里面的参数一般不需要修改,但是这几个是需要根据自己实际的数据集进行调整的,首先最重要的就是分类大小`dataset_conf.num_class`,这个每个数据集的分类大小可能不一样,根据自己的实际情况设定。然后是`dataset_conf.batch_size`,如果是显存不够的话,可以减小这个参数。
```shell
# 单卡训练
CUDA_VISIBLE_DEVICES=0 python train.py --configs=configs/bi_lstm.yml
# 多卡训练
CUDA_VISIBLE_DEVICES=0,1 torchrun --standalone --nnodes=1 --nproc_per_node=2 train.py --configs=configs/bi_lstm.yml
```
训练输出日志:
```
[2024-02-03 15:09:26.166181 INFO ] utils:print_arguments:14 - ----------- 额外配置参数 -----------
[2024-02-03 15:09:26.166281 INFO ] utils:print_arguments:16 - configs: configs/bi_lstm.yml
[2024-02-03 15:09:26.166358 INFO ] utils:print_arguments:16 - local_rank: 0
[2024-02-03 15:09:26.166427 INFO ] utils:print_arguments:16 - pretrained_model: None
[2024-02-03 15:09:26.166494 INFO ] utils:print_arguments:16 - resume_model: None
[2024-02-03 15:09:26.166550 INFO ] utils:print_arguments:16 - save_model_path: models/
[2024-02-03 15:09:26.166613 INFO ] utils:print_arguments:16 - use_gpu: True
[2024-02-03 15:09:26.166676 INFO ] utils:print_arguments:17 - ------------------------------------------------
[2024-02-03 15:09:26.176508 INFO ] utils:print_arguments:19 - ----------- 配置文件参数 -----------
[2024-02-03 15:09:26.176604 INFO ] utils:print_arguments:22 - dataset_conf:
[2024-02-03 15:09:26.176673 INFO ] utils:print_arguments:25 - aug_conf:
[2024-02-03 15:09:26.176736 INFO ] utils:print_arguments:27 - noise_aug_prob: 0.2
[2024-02-03 15:09:26.176792 INFO ] utils:print_arguments:27 - noise_dir: dataset/
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
<项目介绍> - 基于Pytorch实现的语音情感识别 - 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------
资源推荐
资源详情
资源评论
收起资源包目录
基于Pytorch实现的语音情感识别.zip (31个子文件)
SpeechEmotionRecognition-Pytorch-master
eval.py 1KB
setup.py 2KB
extract_features.py 662B
create_data.py 2KB
LICENSE 11KB
configs
bi_lstm.yml 2KB
infer.py 995B
docs
images
image1.png 58KB
requirements.txt 325B
mser
metric
__init__.py 0B
metrics.py 317B
__init__.py 86B
data_utils
utils.py 5KB
__init__.py 0B
featurizer.py 4KB
collate_fn.py 940B
reader.py 6KB
audio.py 21KB
predict.py 8KB
trainer.py 29KB
utils
utils.py 4KB
__init__.py 0B
scheduler.py 1KB
record.py 1KB
logger.py 3KB
models
__init__.py 0B
base_model.py 406B
bi_lstm.py 820B
.gitignore 86B
train.py 1KB
README.md 15KB
共 31 条
- 1
资源评论
mldxxxxll5
- 粉丝: 3581
- 资源: 889
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功