OpenAI于周四正式发布了“草莓”人工智能语言大模型，并表示该模型在推理能力和解决问题的表现上较以往的大型语言模型（LLM）都有了非常显著的提升。
新模型正式名称为“OpenAI o1”，并以两个版本率先推出：o1-preview 和 o1-mini。目前，这两个模型已针对 ChatGPT Plus 用户以及部分 API 用户开放。
根据 OpenAI 的说法，o1-preview 在指标基准测试中的表现超越了前代模型 GPT-4o，特别是在竞赛型编程、数学推理能力方面。
OpenAI表示，“o1是第一个在真正困难的任务中表现出色的推理模型，而且只会变得更好”。
OpenAI 报告称，o1-preview 在Codeforces的竞赛编程问题中排名第 89 位。在数学方面，它在国际数学奥林匹克资格考试中的得分为 83%，而 GPT-4o 的得分为 13%。OpenAI 还表示，随着人们仔细审查基准并随着时间的推移进行自己的评估，o1在物理、化学和生物学特定任务上的表现与博士生相当。
一、O1在多个人物上表现堪比人类博士生
下图是Open AI发布的o1技术报告中的对比图，可以发现，在数学竞赛、计算机编程竞赛、博士水平的科学问答中，o1大模型的表现，比之前的gpt4o版本有了非常大的提升，甚至已经堪比人类博士水平。
下面这个图更加明显，o1相比之前最强大的gpt4o提升非常明显。
下面我们通过两个实际的例子，体验下o1大模型的厉害之处！
二、填字游戏
想必很多人很小的时候就玩过填字游戏，现在中国很多父母甚至会将其作为幼儿启蒙教育的一部分。他的游戏规则很简单，就是根据提示，在适当的位置上，横向或者纵向填入适当的单词，当横向和纵向的单词在某个格子中交叉时，该格子中的字必须同时满足两个词语的连贯读写。
如果你没有我玩过的话，那也没关系，可以参照如下的这个图例。对应的标注为红色一、二、三的位置上，在下面的提示部分会给出正确词语的提示。
填字游戏，在很多情况下还是挺复杂的。之前的大模型是解决不了这个问题的。但是现在o1可以了！o1会首先“思考”这个问题，甚至可能会长达近两分钟（大多数问题在更短的时间内得到解决）。你可以看到它的想法，下面是其中的一个示例（还有很多我没有包括），这些想法非常有启发性 - 值得花点时间阅读其中的一些内容。令人非常震惊的看到，大模型在思考这个问题的时候，一直不断迭代，创造和拒绝想法，直到找到正确的解法，这跟人类的推理何其相似！
三、数一数“strawberry”这个词有多少个R
对人类来说，这是一个很简单的问题，但是对于大模型来说，这是一个需要推理技巧的问题。比如就这个问题，我问了国内某知名大模型，它的回答是两个，显然是错误的。
LLM 以称为标记的数据块形式处理单词，大多数 LLM 通常无法识别单词中字符之间的差异。但是，o1 具有自我反思能力，可以弄清楚如何计算字母数量，并在没有用户帮助的情况下提供准确的答案。
四、o1使用了新的强化学习方法
OpenAI 将 o1 的进步归功于一种新的强化学习 (RL) 训练方法，该方法教会模型在回答问题之前花更多时间“仔细思考”问题，类似于“让我们逐步思考”的思路链提示可以改善其他 LLM 的输出。新流程允许 o1 尝试不同的策略并“识别”自己的错误。
做过智能体Agent应用的同学，对这个应该不陌生。在o1之前，很多人已经在通过智能体协作的方式，让大模型对要解决的问题进行不断地反思、规划，让快思考变成慢思考，从而更容易获得正确的答案。
现在不同的是，OpenAI将这些能力，固化到了o1大模型内部。让大模型本身也具备了智能体反思、协作的能力，这无疑是一个巨大的进步。
五、结论
一些科技界人士，反对用拟人化人工智能模型以及使用“思考”或“推理”等术语来描述这些神经网络系统执行的合成和处理操作。
比如在OpenAI o1 宣布后，Hugging Face的首席执行官Clement Delangue就发布了如下言论：“我再说一遍，人工智能系统不是‘思考’，而是‘处理’、‘运行预测’……就像谷歌或计算机一样。给人一种技术系统是人类的错误印象，这只是廉价的骗术和营销手段，让你误以为它比实际更聪明。”
“推理”也是一个有些模糊的术语，因为即使对于人类来说，也很难准确定义该术语的含义。比如独立人工智能研究员 Simon Willison在推特上回应了关于o1的报道，“我仍然很难从 LLM 能力的角度定义‘推理’”。
