20170917周报 丁雪1

多模态音乐情感分类模型 本周，丁雪1分享了一篇论文《基于音乐内容和歌词的音乐情感分类研究》，该论文旨在解决音乐情感分类的准确性问题。下面是对该论文的知识点总结： 一、问题的提出 传统的音乐情感分类方法只是基于音乐的底层声学特征，然而这种方法的准确性令人不满足。因此，论文提出了将歌词作为音乐情感提取的补充，将音乐内容和歌词结合起来，提出多模态的音乐情感模型。 二、音乐情感模型 论文提出了两种音乐情感模型： 1. Thayer 情感模型：从能量（energy）和压力（stress）两个维度区分，构成环形模型。 2. Henver 情感模型：从“神圣”“悲伤”“向往”“抒情”“轻盈”“欢乐”“热情”“生机”8 类，构成环形模型。 三、基于音乐内容的情感分类 论文提出了基于音乐内容的情感分类方法，包括三个步骤： 1. 预处理：文件转化为统一的格式。 2. 声学特征处理：特征音色、节奏和音高。每个音乐片段可以用一个 100 维的特征向量表示。 3. 分类过程：使用分类器对特征向量分类。 四、基于歌词的分类 论文提出了基于歌词的分类方法，包括三个步骤： 1. 歌词的 VSM 处理：将歌词进行数字化处理。 2. CHI 特征选择：度量特征词与类别之间的关联度。 3. 潜在语义分析（LSA）：传统的 VSM 忽略了上下文的语境，影响分类精度。所以用 LSA 来进行二次降维，减少噪声处理。 五、多模态融合 论文提出了三种多模态融合方法： 1. 线性结合晚融合法：按照音乐内容和歌词分类，算出其概率，对其概率进行直接的线性叠加。 2. 子任务结合晚融合法：二维情感模型融合法。将音乐内容在能量上分为平静和活力，歌词在压力上分为快乐和焦虑。 3. 改良的 LFSM 融合法：实验结果显示改良的 LFSM 精确度最高。 六、实验结果 论文提出了两个实验： 1. 实验 1：比较不同融合方式的准确率，结果显示改良的 LFSM 精确度最高。 2. 实验 2：比较一次降维和二次降维对实验结果的影响，结果显示分类的准确率有了一定的提高。 本文总结了基于音乐内容和歌词的音乐情感分类模型，包括音乐情感模型、基于音乐内容的情感分类、基于歌词的分类和多模态融合四个部分。本文对音乐情感分类的研究有重要的参考价值。