freesound-classification:Freesound Audio Tagging 2019挑战赛第三名解决方案的...

Freesound Audio Tagging 2019挑战赛第三名 我的方法概述如下。 楷模 我使用了两种类型的模型，它们都是基于卷积的。 第一种使用2d卷积并在梅尔级谱图上工作，而第二种使用1d卷积在具有相对较小的窗口大小（如256）的原始STFT表示之上，因此每帧只有5毫秒左右。 两种类型的模型都相对较浅，由10-12个卷积层（或5-6个resnet块）以及少量过滤器组成。 我使用一种深度监管的形式，在每个块之后（通常从第一个或第二个块开始）应用全局最大池，然后将每个层的maxpool输出连接起来，形成最终的特征向量，然后将其传递到2层完全连接的分类器。 我还尝试使用RNN代替某些模型的最大池。 它使结果有些差，但是RNN似乎犯了不同的错误，因此它证明是最终合奏中的好成员。 频率编码 2d卷积是位置不变的，因此无论特征位于何处，卷积的输出都将相同。 频谱图不是图像，Y轴对应于信号