cs2770-project-e2e:CS2770项目的端到端模型

CS2770项目端到端模型 这段代码基于 描述 此代码为视觉问题生成（VQG）训练，验证和测试端到端模型。 关于该项目，最后的工作有待完成。 如果有时间，我们可能还会做其他工作，但这是最低要求： 将可解释的CNN集成到编码器中。 由于可解释的CNN是一次可处理一个类别的分类CNN，因此我们的项目报告建议，我们实际上将制作五个CNN，分别针对COCO数据集中前五个类别中的每个CNN，然后将其输出编码合并为一个最小化的向量。 可能还需要简化可解释的CNN的体系结构，因为我们将在每次训练中训练其中的五个。 实施注意机制以在编码器和解码器之间移动 实现使可视化CNN中间层可视化的代码，以便我们可以将其作为结果的一部分进行分析。 我认为我们只是随机抽取测试集的一部分进行可视化。 训练，验证和测试VQA和VQG数据集的模型版本 为4/22创建幻灯片演示文稿 数据 文件data/data_fil