GPT-4o（“o”代表“全能”）是迈向更自然人机交互的一步——它可以接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合作为输出。它可以在232毫秒内响应音频输入，平均320毫秒，这与对话中的人类响应时间类似。它与英语和代码的文本上的GPT-4 Turbo性能相匹配，对于非英语语言的文本有了显著的改进，同时在API中也更快且便宜50%。与现有模型相比，GPT-4o在视觉和音频理解方面特别优秀。
模型能力
在 GPT-4o 之前，你可以使用“语音模式”与 ChatGPT 进行交流，平均延迟为 2.8 秒（GPT-3.5）和 5.4 秒（GPT-4）。为了实现这一点，“语音模式”是一个由三个分离模型组成的流程：一个简单的模型将音频转写为文本，GPT-3.5 或 GPT-4 接受文本并输出文本，然后第三个简单模型将文本转回音频。这个过程意味着主要的智能来源 GPT-4 丢失了很多信息 —— 它无法直接观察到语调、多个说话者或者背景噪音，也无法输出笑声、歌唱或表达情感。
通过 GPT-4o，我们训练了一个全新的模型，端到端地处理文本、视觉和音频，这意味着所有的输入和输出都由同一个神经网络处理。因为 GPT-4o 是我们首个结合所有这些模态的模型，我们仍然只是在初步探索这个模型的能力和限制。
功能的探索
以传统基准测试为衡量标准，GPT-4o在文本、推理和编码智能方面达到了GPT-4 Turbo级别的性能，并在多语言、音频和视觉能力上设定了新的高水平。
改进的推理 - GPT-4o 在5轮训练的MMLU（普通知识问题）上创造了87.2％的新纪录。（注：Llama3 400b（新窗口打开）仍在训练中）
音频ASR性能——GPT-4o在所有语言中都显著提高了语音识别性能，尤其是对于资源较少的语言。
音频翻译性能- GPT-4o 在语音翻译方面达到了最新的技术水平，并且在MLS基准测试中表现优于Whisper-v3。
M3Exam - M3Exam基准是一个多语言和视觉评估，包括其他国家标准化测试中的多项选择题，有时包含图表和图表。在此基准上，GPT-4o在所有语言上比GPT-4更强大。（我们对斯瓦希里语和爪哇语的视觉结果进行了省略，因为这些语言的视觉问题只有5个或更少。）
视觉理解评估 - GPT-4o 在视觉感知基准测试中实现了最先进的性能。
语言切分
选择这20种语言作为新的切分器在不同语言家族之间的压缩代表
模型的安全性和限制
GPT-4o在设计中通过各种技术（如训练数据筛选和后期训练中优化模型行为）跨模态具备了内置安全功能。我们还创建了新的安全系统，以提供对语音输出的防护措施。
我们根据我们的“准备框架”和我们的自愿承诺对GPT-4o进行了评估。我们在网络安全、化学、生物、放射性、影响力和模型自主性方面的评估表明，GPT-4o在任何这些类别中都不会得分高于中等风险。这项评估涉及在模型训练过程中运行了一系列自动化和人工评估。我们测试了模型先进行安全缓解和后进行安全缓解的版本，并使用自定义的精细调整和提示，以更好地引出模型的能力。
GPT-4o还经历了与超过70个社会心理学、偏见和公平性以及误导等领域的外部专家进行广泛的外部红队测试，以确定新添加的模态引入或放大的风险。我们利用这些经验来完善我们的安全干预措施，以提高与GPT-4o的交互安全性。我们将继续消除新发现的风险。
我们承认GPT-4o的音频模态存在各种新风险。今天，我们公开发布文本和图像输入以及文本输出。在接下来的几个星期和几个月里，我们将致力于开发其他模态所需的技术基础设施、后期培训的可用性以及安全性。例如，在推出时，音频输出将仅限于一些预设音频，同时遵守我们现有的安全政策。我们将在即将发布的系统卡片中分享更多细节，涵盖GPT-4o的全部模态范围。
在与模型的测试和迭代过程中，我们观察到存在一些限制，这些限制跨越了模型的所有模态，以下是其中的几个例子。我们希望收到反馈，以帮助确定GPT-4 Turbo仍然优于GPT-4o的任务，这样我们就可以继续改进模型。
模型可用性
GPT-4o是我们在深度学习领域的最新进展，这一次我们的方向是实用性能。在过去两年里，我们花了很多精力在改进每个层面的效率上。作为这项研究的第一个结果，我们能够更广泛地提供GPT-4级模型。GPT-4o的功能将逐步推出（并从今天开始提供扩展的红队访问权限）。
GPT-4o的文本和图像功能今天开始在ChatGPT中推出。我们将在免费版中提供GPT-4o，并向Plus用户提供高达5倍的消息限制。在接下来的几周内，我们将在ChatGPT Plus中通过GPT-4o发布Voice Mode的新版本（测试版）。
开发人员现在还可以通过API访问GPT-4o，作为文本和视觉模型。与GPT-4 Turbo相比，GPT-4o的速度提升了2倍，价格减半，并且限制速率提高了5倍。我们计划在接下来的几周内向一小部分值得信赖的合作伙伴在API中发布对GPT-4o的音频和视频功能的支持。
