Open Sora团队计划复现Sora的技术架构主要由以下三部分组成：
Video VQ-VAE：用于视频压缩至潜在空间的模型，支持可变时长的处理。
Denoising Diffusion Transformer（去噪扩散型Transformer）：核心的去噪和扩散模型，用于对批量潜变量进行去噪处理。
Condition Encoder（条件编码器）：用于添加额外条件信息，如类别、位置等，以指导生成过程
可变长宽比
为复现Sora视频的可变长宽比，Open Sora团队采用了一种动态掩码策略。该策略参考了上海AI Lab提出的FiT（Flexible Vision Transformer for Diffusion Model）方法，在并行批量训练的同时保持灵活的长宽比。具体实施时，将高分辨率视频下采样至最长边为256像素，同时在右侧和底部用零填充至一致的256x256分辨率，便于模型的批量处理和注意力掩码的应用
