多模态人机交互中的大模型学习系统与应用.docx

多模态人机交互中的大模型学习系统与应用 在当今的 IoT 时代，设计新的智能产品，提高用户体验是一个非常重要的话题。如何实现性能驱动的高附加值制造，是 2022 年高端制造前沿的十大科学问题之一。这一问题和 User Experience 非常相关。苹果公司的制造技术包给了富士康，富士康的郑州工厂有 30、40万的工人每天在做制造的部分。但 iPhone 的价值，不在于制造的技术，而是在它的用户体验，是用户体验造就了苹果的成功。 多模态人机交互中的大模型学习系统与应用，涉及到多种领域，如制造、交通、医疗、农业、家庭等。如何把 User Experience 作为一个交叉学科贯穿到各行各业，是一个特别值得深入讨论的问题。未来的人类社会生态的新平衡，需要深度融合人工智能大数据、VR/AR、机器人、可穿戴设备、5G 通讯、User Experience、能源、新的材料等。 多模态人工智能的兴起对智能产品的影响非常大。当前的人工智能不仅和工科方面相关，而且和人文学科交叉，包括认知学科、心理学科、生物学科、语言学、脑科学，甚至和艺术与设计的融合也变得越来越深入，越来越有价值。在另外一个信息空间里，除了现有的掌上手机、可穿戴设备等，可以融入更多智能方面的产品、模块、大模型的认知甚至到意识等，使得未来在交互方面，不只是 Audio Video 的信息的交互，而且有物理的交互。 具身智能（Embodied Intelligence），是现在国内一个特别火爆的课题，实际上这个行业已经提出了有 20 年之久。未来从信息的交互到物理的 Embody 的交互是一个重要的方向。如何理解人类的心智和大脑的多传感过程，这是参考未来的多模态设计非常重要的一个方向。未来的整个多模态的界面，除了视觉，听觉和触觉之外，还会有更多的高层，包括 BCI，脑机接口，手势，感情，甚至物理动作等。 人工智能的数据因为摩尔定律，计算机整个在硬件和算力方面的增长，遵循了一个指数规律。从数据的存储方面几乎是一个摩尔定律的增长。以前一台计算机从几十 K 到今天几十 T，可以把收集来的任何 Audio Visual、还有多模态的数据都能整合起来，能够自动分类， thậm chí 到自动决策，使得我们在大计算的计算引擎方面有了足够多的燃料，在智能制造和数据信息处理方面有着日新月异的发展。 算法方面智能技术使得现在人类的语言和它的信号听觉处理方面有了一定的进展，现在的大模型是做一些行为 Level，能够模拟人的语言功能的一部分，但是未来真正要实现的人脑的多模态功能，实际上要把听觉、视觉，还有物理的控制都要整合在一起，这也是现在跨模态学习的一个机制，也是多模态系统的一个重要的具身智能的研究点。 基于经验的学习，包括机器人和人在不断地交互之间如何能够学到高层的知识，是未来用户体验量化的一个很好的例子。我们和欧盟有个项目。通过人和机器的学习，让机器人学到了八种知识，包括空间模型、语言模型、动作模型、对时空的理解，如先上盘子，咖啡要在热的时候上，放在客户的哪一个位置等等。未来的智能设备，它不只是一个简单的、被动的设备，而是有具体的认知模型，这叫 Finest Idea Model，即智能系统跟真正世界的模型的误差，应该通过学习降得越来越小。 现在的大模型，包括它如何摆脱计算成本，尤其是能够在具身智能里面进行应用，都将面临着巨大挑战。我们最近也发了一篇 Robot GPT，如何使用 GPT，使得它的交互变得更便利，能够自动产生出各种各样的制造的成本。还有我们现在的 ChatGPT for Industry，通过公司可以用自然语言跟工业的数据进行 Chat，来找出你当天不良率的原因是什么，这些对未来的制造和用户界面有着非常的重要的一个引导意义。 未来：具有更多跨界的能力如何让新一代的人工智能里的语言和可解释性能够实现，让更多的深度的人机交互的场景能够实现，这些都给用户体验交互设计提出了一个非常高的要求，这也是我们和用户体验和设计界能够合作的点。