Taris:基于TensorFlow 2的基于变压器的在线语音识别系统

塔里斯 基于TensorFlow 2的基于变压器的在线语音识别系统 关于 Taris是[1]中描述的一种在线语音识别方法。 该系统通过学习计算其中的口头单词数来动态地分割口头句子。 解码以段的动态窗口为条件，而不是像原始序列到序列体系结构中的整个发音那样。 该存储库还维护了当前使用Transformer堆栈而不是原始循环网络[4]实施的视听对齐和融合策略AV Align [2,3]。 概述 为了进行在线解码，Taris学会计算口头句子中的单词数。 正如我们在[1]中所展示的，该任务有助于将语音输入划分为可以Swift解码的段。 但是，为了匹配脱机系统的准确性，需要更长的上下文。 下图说明了一个示例，其中解码器使用两个回溯段和超前段来调节输出模态中给定单词内的所有字符。 一旦中的所有字符decision处理和系统预测空格令牌，通过一个多段的注意分配的进步，并且在计算音频上下文向量以用于