技术前沿

GPT-4o重塑人机交互体验：从LUI到MMUI

2024 年 5 月 18 日

前言

GPT-4o 的发布，伴随着一系列震撼人心的演示视频。在这些视频中，AI 不仅能够准确理解人类的情绪，还能以富有情感的方式与人互动。这些令人惊叹的能力，使我们看到了人机交互的无限可能，也引发了人们对未来人机关系的深入思考。

一、人机交互的语言鸿沟

在早期的人机交互中，人类和机器说着完全不同的语言。人类用自然语言交流，而机器只懂 0 和 1 的二进制代码。这种语言的鸿沟给交互带来了诸多困难：人类需要学习复杂的编程语言才能与机器沟通，而机器也难以理解人类的意图和需求。据统计，超过 80%的用户曾遇到过语言障碍。为了弥合这一鸿沟，用户界面（user interface）应运而生。它成为人类向机器发出指令，并获取反馈的重要桥梁。

二、LUI 的崛起与局限

随着自然语言处理（NLP）技术的发展，LUI（Language User Interface，语言用户界面）取得了长足进步。像苹果的 Siri、微软的 Cortana 这样的智能助手，使用户能够用口语化的指令完成网购、日程管理等复杂任务。对话 AI 如 ChatGPT 的问世，更是让人们见识到了 LUI 的强大潜力。

然而，LUI 的局限性也逐渐显现。一方面，LUI 难以处理表情、手势等非语言信息，在理解用户情绪和意图方面存在不足。另一方面，LUI 对上下文的把握有限，常常给出不够准确或合适的回应。用户调查显示，超过 50%的受访者曾对智能助手的回答感到困惑或不满。此外，LUI 还缺乏情感表达和共情能力，难以提供真正贴心的服务。尽管 LUI 存在局限，但它毕竟是迈向智能时代的重要一步。

三、LUI 还未普及，MMUI 已来

GPT-4o和可汗学院的创始人及其儿子，演示了通过与AI视频通话，指导小朋友做数学题的能力。

这个演示让我们看到了，在 LUI 还未完全普及之际，人机交互的新变革却已经迅速到来，那就是 MMUI（MultiModal User Interface，多模态用户界面）。

MMUI 融合了语音、视频、表情、手势等多种交互模式，让人机交互变得更加自然、丰富、高效。它的优势主要体现在三个方面：

信息的丰富性：MMUI 可以综合利用语言和非语言线索(表情、情绪、动作)，全面理解用户的表达意图。一项研究表明，非语言信息在面对面交流中占据了 93%的比重。MMUI 可以捕捉用户的表情变化、语气语调等关键信号，推断用户的真实需求。例如，当用户皱眉时，MMUI 会判断用户遇到了困难，主动提供帮助；当用户微笑时，MMUI 会感知到用户的好心情，给出积极的回应。
任务的高效性：MMUI 能够快速准确地理解用户指令，并行处理多模态信息，从而大幅提升任务效率。麻省理工学院的实验表明，多模态交互可以让任务完成时间缩短 20%～50%。例如，在填写复杂表单时，用户可以直接用语音输入文字内容，用手指滑动勾选选项，再用手写签名确认提交。多种交互模式的无缝配合，让人机协同变得更加流畅高效。
体验的沉浸感：MMUI 可以营造出栩栩如生的多感官体验，让用户全身心投入到人机互动中。斯坦福大学的研究发现，当虚拟人物展示出丰富的表情、肢体语言和语音时，用户的临场感和代入感会显著提升。MMUI 正是运用这一原理，多管齐下地调动用户的视觉、听觉、触觉等感官，塑造出身临其境的交互场景。比如当你戴上Vision Pro，AI 可以像真人一样与你交流，就像电影「钢铁侠」中的“贾维斯”一般，让你感受到一种来自未来的交互体验。