语音信号处理课程学习（全）

【语音信号处理】是计算机科学领域的一个重要分支，主要研究如何获取、分析、处理和合成人类语音信号。在这个课程中，我们将深入理解一系列关键概念和技术。 首先，【Transformer模型】在语音信号处理中的应用被提及。Transformer是一种在自然语言处理（NLP）中广泛使用的模型，但近年来也开始在语音识别等领域崭露头角。Transformer的核心是【自注意力机制（Self-Attention）】，它允许模型关注输入序列的不同部分，而不仅仅是当前位置。Transformer的结构包括【Encoder】和【Decoder】两部分。Encoder通过多层自注意力和前馈神经网络处理输入，Decoder则负责生成输出序列，并通过两个Multi-Head Attention层，一个是针对输入序列的编码表示，另一个是针对先前生成的输出序列。 在【课程一：初见Speech Recognition】中，我们学习了语音识别的基础知识，包括声音特征（Acoustic Feature）的提取，如frame制作方法，以及常见的声音数据集和声音模型，如seq2seq模型。其中，【Listen, Attend and Spell (LAS)】模型是一个典型的端到端（End-to-End）模型，由监听（Listen）、注意（Attend）和拼写（Spell）三个步骤组成。Listen部分涉及下采样，Attention部分使用注意力机制，而Spell部分则利用束搜索（Beam Search）进行解码。 接着，课程介绍了几种不同的语音识别模型，包括【CTC（Connectionist Temporal Classification）】，它解决了序列到序列建模时的时间对齐问题；【RNN Transducer（RNN-T）】，它结合了循环神经网络（RNN）和CTC的特性，允许实时预测；以及【Neural Transducer】和【Monotonic Chunkwise Attention（MoChA）】，这些模型优化了对齐和预测效率。 选修课程进一步探讨了HMM（隐马尔科夫模型）在语音识别中的应用，以及如何在HMM、CTC和RNN-T中进行对齐。此外，RNN-T的训练过程被详细讲解，包括对齐概率的计算和模型训练的偏微分计算。 在【课程四：Language Modeling】中，我们了解到语言模型在语音识别和自然语言处理中的重要性，包括不同类型的LM（如N-gram、连续LM和RNN-based LM），以及如何利用LM来提升LASS（如Shallow Fusion、Deep Fusion和Cold Fusion）。 最后，课程五和六分别探讨了【Voice Conversion】和【Speech Separation】。Voice Conversion技术允许将一个人的声音转换为另一个人的声音，而无需平行数据。而Speech Separation则涉及到从混合声音中分离出多个说话人的语音信号，通常会用到如SNR（Signal-to-Noise Ratio）和SI-SDR（Scale Invariant Signal-to-Distortion Ratio）这样的评估指标，以及深度聚类等方法来解决样本排列问题。 这个全面的课程覆盖了语音信号处理的多个方面，从基础理论到高级技术，为学生提供了深入理解和实践这些关键技术的机会。