能说会唱，基于ChatGPT的音频理解与生成系统AudioGPT

来自浙大、北大、CMU和人大的研究人员提出了一种全新的音频理解与生成系统AudioGPT。不仅能够实现跨模态转换，以及音频模态的理解、生成，还能能够解决20+种多语种、多模态的AI音频任务。 一 、听觉效果超炫 最近几个月，ChatGPT、GPT-4横空出世，火爆出圈，大型语言模型 (LLM) 在语言理解、生成、交互和推理方面表现出的非凡能力，引起了学界和业界的极大关注，也让人们看到了LLM在构建通用人工智能 (AGI) 系统方面的潜力。 现有的GPT模型具有极高的语言生成能力，是目前最为先进的自然语言处理模型之一，广泛应用于对话、翻译、代码生成等的自然语言处理领域。除了书面语言，用户在自然对话中主要使用口语(Spoken Language)，而传统大语言模型却无法胜任音频理解与生成任务：   GPT模态限制。用户在自然对话中主要使用口语，对口语理解与合成有极大需求，而单模态GPT不能满足对音频(语音、音乐、背景音、3D说话人)模态的理解、生成需求。     音频数据、模型相对少。基础模型(Foundation Model)少或交互性差。相较于文本模态，用于重新训练语音多