multimodal-rl:解决需要语言和视觉的强化学习任务

多峰强化学习 以下多模式强化学习方法的JAX实现。 来自双编码情节记忆 此设置的目标是在“这是_____”语句之后为代理提供多个具有组成名称的对象，然后执行诸如“将提示移到表中”之类的指令。 此任务要求代理为诸如“ This is a”之类的概念学习长期的语言和视觉表示，并在情节之间携带诸如“ table”之类的对象，同时还能够学习新颖对象及其名称的一次性表示。 用法 首先通过运行在本地设置环境 poetry install poetry shell 学习环境取决于Docker，并且要求Docker Desktop程序正在运行（在Mac上）。 完成后，您可以运行默认环境（使用纸张中的3个对象进行快速映射）。 python fast_slow_learning/main.py