5-2基于大规模无监督语音预训练的语音语义理解.pdf

《基于大规模无监督语音预训练的语音语义理解》探讨了如何利用无监督学习方法提升语音语义理解的性能。该研究由阿里巴巴天猫精灵事业部的王鹏伟主导，旨在改进传统的基于文本的自然语言理解（NLU）架构，以及端到端的语音语言理解（SLU）模型。 在传统的Text-based NLU架构中，语音信号首先经过数字信号处理，如提取FBank特征，然后通过声学模型转化为音素后验概率，进一步进行语言模型分析，以理解语义。然而，这种方法依赖于大量带标签的数据，对于资源有限的语音语义理解任务来说，可能会遇到挑战。 为了解决这一问题，研究者提出了一种新的端到端SLU架构，它可以直接从语音信号中学习语义信息，减少了对有标签数据的依赖。这种架构的核心是将预训练技术应用于无标签语音数据，尤其是音素后验的无监督预训练，类似于文本预训练中的Bert模型。音素可以被视为一种特殊“字符”，因此，研究人员构建了一个名为Phoneme-BERT的模型，它的输入和输出都是token序列，每个token都具有特定的意义。 Phoneme-BERT通过处理音素后验概率，生成分布式矩阵，但在此过程中，需要处理大量的静音帧和音素维度的规范化。模型采用了片段式mask策略，初始化mask分布，并通过多头自注意力机制、位置编码和前馈网络等进行信息处理。在预训练之后，模型通过微调适应特定的SLU任务，例如使用Sample Policy Pooling Network进行分类。 实验部分，研究对比了预训练模型与无预训练模型在不同数据集上的表现，包括Fluent Speech Commands和In-House Speech Commands。结果显示，预训练模型在所有情况下均表现出色，特别是在标注数据较少的情况下，预训练的优势更加显著。 基于大规模无监督语音预训练的语音语义理解是一种有效的方法，它能够提高模型在低资源条件下的性能，并且在实际应用中，如智能家居、智能助手等领域具有广阔的应用前景。通过Phoneme-BERT模型，语音信号可以直接转化为有意义的语义表示，减少了对人工标注数据的依赖，从而推动了语音识别和理解技术的发展。