01
多模态AI是什么？
多模态人工智能模型同时使用多种类型的数据（也称为模态）进行训练，如图像、视频、音频和文本，在不同模态之间创建共享的数据表征，从而提高不同任务的性能。无论是在输出还是输出阶段，多模态人工智能模型可以处理不止一种模态的数据。
多模态不仅仅是将独立的单模态模型组装在一起，要训练一个多模态模型，需要同时接受不同模态数据的训练，这样才能融合所有信息，创建共享表征，释放出新的能力。
GPT-4o正是一种原生的多模态token输入、多模态token输出模型（natively multimodal token in, multimodal token）。
下图展示了从可独立使用或组合在一起的单模态模型到经过跨模态训练的真正多模态模型的演变过程。
02
为什么要选择多模态？
03
多模态AI的价值
多模态人工智能的优势在于：
• 增加稳健性：多模态可以通过减少对单一模态的依赖使基础模型更加稳健，同时使模型能够处理噪音或缺失的数据，并在不同模态之间消除信息歧义。
• 新的用例：跨模态处理数据的能力将开辟很多过去不可能实现的AI用例，例如视觉问题回答、多模态数据检索以及复杂的音视频生成等。
• 改善用户体验：基于声音、文本、图像和视频等多种形式，多模态人工智能可以使得人工智能与人类之间的交互形式变得更加丰富。例如，用户可以通过音频和图像的形式与虚拟助手进行交互，这将极大提高用户体验。
• 提高性能：通过整合跨模态信息，多模态人工智能模型可以提高特定用例的性能。例如，一个利用音频、文本和视频的客户情感模型能够捕捉到更多数据中的模式，并且表现优于单模态模型。
• 可扩展性更强：与仅在单一模态上训练的基础大模型（如大语言模型）相比，多模态人工智能可以使用更多的数据进行训练。训练数据的增加将使多模态人工智能模型更具可扩展性，因为它们可以使用视频、音频等模态的数据进行训练，而不仅仅是文本数据。
