clipping-CLIP-to-GAN

剪辑到GAN 介绍 最近，openAI提出了CLIP：基于多模式变压器的模型，可以执行令人难以置信的宽域零射任务。 您可以从及其阅读所有相关信息。 另一方面，生成模型DALL-E也已于同一日期发布，但目前尚未发布，最终可能会像GPT-3一样发布。 最近，（ 提出，良好的特征可视化应该生成一些与文本匹配的图像：主要是，他使用SIREN作为一组参数来进行优化，并使用自动分级来学习生成与给定图像集匹配的最佳参数。 通常，可以使用任何类型的确定性生成模型（例如GAN，VAE）来完成此操作（我认为VQVAE在这里也确实很不错，但是梯度上升部分仍然可以实现）。 该存储库包含test.py，通常使用生成模型和可学习的潜在向量来查找与输入文本匹配的图像。 我在这里使用的模型是CLIP（显然是 ）和 。 在FFHQ数据集上使用GAN采样的示例 输入文字：这是年轻男孩的图像。 他2岁。 他只是个婴儿