The Second Half：一位 OpenAI 科学家的 AI 下半场启示录

01.

我们正处于
AI 的半场时刻

We’re at AI’s halftime

数十年来，AI 的核心一直在于开发新训练方法和模型。这种路径确实有效：打败国际象棋和围棋世界冠军、在 SAT 和律师资格考试上超过大部分人、赢得 IMO（国际数学奥林匹克）和 IOI （国际信息学奥林匹克）金牌，这些写进 AI 历史书里的里程碑——DeepBlue，AlphaGo，GPT-4 和 o 系列，都来自底层训练方法的创新，search，deep RL，scaling，reasoning。一切都在随着时间持续进步。

那么现在到底有什么变了？

简单来说，强化学习（reinforcement learning, RL）终于有效了。更确切地说，RL 终于有了泛化能力。经过几次弯路，也跨过了一系列重要里程碑后，我们终于找到了正确的配方（recipe），能通过语言模态和推理能力来解决广泛的强化学习任务。

即便在一年前，如果你告诉大多数 AI 研究者，有一种 recipe 能同时应对软件工程、创意写作、IMO 级别的数学问题、鼠标键盘操作以及长篇问答——他们只会嘲笑你在幻想。这些任务每一项都极其艰难，许多研究者整个博士期间只专注于其中一个细分领域。

但今天这件事的确发生了。

接下来会发生什么？

AI 的下半场——从现在开始——会从解决问题转向定义问题。在这个新阶段，Evaluation（模型评估） 会比 Training （模型训练）更重要。我们不再只是问，“我们能不能训练模型来解决 X ？” 而是开始问：“我们究竟应该训练模型来做什么，如何衡量真正的进展？”要想赢得 AI 的下半场，我们必须及时转变心态和技能，也许要更像产品经理。

02.

什么是 AI 上半场

The First half

要理解 AI 上半场的意义，可以看看这个阶段的 winners。

先来想一个问题，你认为迄今最具影响力的 AI 论文有哪些？我在 Stanford CS 224N 的课堂现场提出了这个问题，大家的答案并不意外：Transformer、AlexNet、GPT-3 等。这些论文的共同点在于它们提出了训练更强模型的一些基础性突破，但同时也在一些 benchmark 上展示了显著的性能提升，从而得以发表。

这些经典论文还有一个潜在共性：它们几乎都是训练方法或模型，而不是 benchmark 或者 tasks。即便是被认为是最有影响力的基准数据集 ImageNet，它的引用量也不到 AlexNet 的三分之一。这种差距在其他案例中更加明显。

比如，Transformer 使用的主要 benchmark 是 WMT’14，WMT’14 的 workshop report 引用量大约为 1300 次，而 Transformer 本身的论文引用早已突破 16 万次。

这些对比形象地说明了 AI 上半场是关注于构建新的模型和训练方法，evaluation 和 benchmark 则位于第二位，尽管对于学术发表体系而言，后者是十分必要的。

为什么会出现这种现象？

一个重要原因是，在 AI 上半场，训练方法比定义 tasks 更难也更令人兴奋。从零开始发明一种全新的算法或模型架构，比如反向传播算法、卷积神经网络（AlexNet），或是 GPT-3 所用的 Transformer，都需要非凡的洞察力和工程能力。

相比之下，为 AI 定义 tasks 往往显得更直接：我们只是把人类已经在做的事情，比如翻译、图像识别或下棋，转化为 benchmark，这个过程几乎不需要太多洞察，甚至不需要多少工程工作。

训练方法往往比具体任务更通用、适用范围更广，因此显得格外有价值。比如，Transformer 架构最终推动了 CV、NLP、RL 等多个领域的进展，影响范围远远超出最初验证它效果的 WMT'14 这个翻译数据集。一个出色的新训练方法往往能在多个 benchmark 上取得较好效果，因为它足够简单、通用，它的影响也因此会超越某个具体任务。

过去数十年来都是训练方法论的创新先行，催生了许多改变世界的理念和突破，并通过在各个领域不断提升的 benchmark 表现出来。

那么，为什么今天这件事会发生改变？因为这些理念和突破的积累，在解决任务方面带来了本质改变，造就了一套真正有效的 recipe。

03.

AI 的有效配方

The recipe

这套 recipe 到底是什么？recipe 的关键成分并不让人意外：大规模的语言 pre-training，数据和算力的 scaling，reasoning 和 acting 的理念。这几个词乍一听很像今天出现频率极高的 buzzwords。

为什么将这几个词称为 recipe ？我们可以从 RL 的角度来看。

RL 通常被认为是 AI 的“终极形态”，毕竟从理论上，它能够保证在 game 中取胜，而在实践上，几乎所有 superhuman 水平的 AI 系统（比如 AlphaGo）都离不开 RL 的支撑。

RL 领域有三个关键组成部分：算法（algorithm）、环境（environment）和先验知识（priors）。

很长时间以来，RL 研究者主要关注算法，比如 REINFORCE、DQN、TD-learning、actor-critic、PPO、TRPO 等，也就是 agent 如何学习的这一核心机制。

相比之下，环境（environment）和先验知识（priors）往往被当作既定条件，或者被尽可能简化处理。例如，Sutton 和 Barto 的经典教材几乎讲的都是算法，对于环境和先验知识几乎只字未提。

但在深度强化学习时代，环境在实践中的重要性凸显：一个算法的效果往往高度依赖于它所开发和测试的环境。如果忽视环境，可能会导致我们构建的最优算法只在过于简化的环境中有效。

那么，为什么我们不先思考清楚真正想要解决的环境，再去寻找最适合它的算法？

OpenAI 最初就是这么计划的。

OpenAI 先是打造了 Gym，一个用于各类 game 的标准 RL 环境，接着又推出了 World of Bits 和 Universe，试图将互联网或计算机变成一个 game。这个设计很好，一旦我们可以将所有数字世界转化为 environment，再用 RL 算法来解决问题，我们就能实现数字领域 AGI。

这个设计很好，但并不完全奏效。虽然 OpenAI 取得了巨大的进展，比如利用 RL 解决了 Dota、机器人手等问题，但还没有解决 computer use 或 web navigation ，并且，在一个领域表现出色的 RL agent 并不能迁移到另一个领域。某些关键因素仍然缺失。

直到 GPT-2 或 GPT-3 出现，我们才发现缺失的是先验知识 （priors）。你需要进行大规模 pre-training，将常识和语言知识提炼到模型中，然后通过微调使其成为网络 agent（WebGPT）或聊天 agent（ChatGPT），从而改变世界。

结果发现，RL 中最重要的部分可能甚至不是 RL 算法或环境，而是先验知识，而这些先验知识的获取方式与 RL 完全无关。

语言模型的 pre-training 为对话类任务提供了良好的先验知识，但在控制计算机或玩电子游戏方面却不够理想。因为这些领域和互联网的文本分布相差很大，直接在这些领域上做 SFT 或 RL 的泛化效果很差。

我是在 2019 年意识到的这个问题，当时 GPT-2 刚刚发布，我在它的基础上做了 SFT 或 RL 来解决基于文本的 game，最终做出了 CALM。CALM 是世界上第一个基于 pre-training 语言模型构建的 agent，但它要花费上百万步的 RL，才能在单一 game 中取得进展，而且无法迁移到其他 game 上。

虽然这正是 RL 的特点，对 RL 研究者来说并不意外，但我仍觉得很反常，因为人类可以轻松上手一款新游戏，而且在零样本的前提下做得比 agent 更好。

这时，我迎来了人生中第一个顿悟时刻：人类之所以能泛化，是因为人类不仅能做“去 2 号柜子”、“用 1 号钥匙打开 3 号箱子”或“用剑杀死地牢怪物”这类操作，还能思考：“地牢很危险，我需要一件武器。附近没有武器，我需要在锁着的柜子或箱子里找，3 号箱子在 2 号柜子里，那我应该先去那里把柜子打开。” 

思考（thinking）或推理（reasoning）是一种很特殊的行为，它并不会直接改变外部世界，但却拥有一个开放、无限组合的空间，我们可以想一个单词、一句话、一段话，或者一万个随机英语单词，但周围环境不会立刻发生变化。

在经典 RL 理论中，reasoning 是一个糟糕的存在，因为它会让决策变得不可能。比如，一个人需要从两个盒子中选一个，其中一个装着 100 万美元，另一个是空的，这个时候预期收益是 50 万美元。现在如果我们往这个人面前放了无数个空盒子，那么他的预期收益就变成了 0。

但如果我们在  RL 环境的动作空间（Action Space）中加上 reasoning，我们就能利用语言模型 pre-training 中获得的先验知识进行泛化，并可以在不同的决策中灵活分配 test-time compute。

这个过程很神奇，我会在未来专门写一篇 blog 来讲。可以通过 ReAct 这篇论文先了解我对 agent reasoning 的看法。

当下，我对于这件事的解释是：虽然一个人面前被放置了无数个空盒子，但他在此之前，他已经在各种 game 中见过这些盒子，之前的这些选盒子的经验能帮助他更好地识别出哪个盒子更可能装着钱。

用一句抽象的话来说：语言通过 agent reasoning 来实现泛化（language generalizes through reasoning in agents.）。

一旦我们拥有了正确的 RL 先验知识（语言 pre-training）和 environment（将语言推理作为行动），算法可能是最微不足道的部分。现在我们有了 o 系列、R1、deep research、computer-using agent，未来还会有更多的成果。多么讽刺的转折！

长期以来，RL 研究者更关心算法，远胜于关心 environment ，几乎没有人关注先验知识——所有的 RL 实验本质上都是从零开始的，但我们绕了几十年的弯路，才意识到也许我们的优先级应该反过来。

但正如 Steve Jobs 所说：You can’t connect the dots looking forward; you can only connect them looking backward.

04.

欢迎来到 AI 下半场

The second half

这套 recipe 在彻底改变 AI 的游戏规则，AI 上半场的游戏规则是：

• 我们开发出新颖的训练方法或模型，在各种 benchmarks 上取得更好的成果。

• 我们创造出更难的 benchmarks，并继续这个循环。

现在这个游戏规则正在被彻底改变，原因在于：

• 这套 recipe 本质上已经把攻克 benchmark 的过程标准化、流程化了，我们不再需要太多新的想法。并且因为这套 recipe 具有较好的 scaling 和泛化能力，你为某个具体任务设计的全新方法可能只能带来 5% 的提升，而下一代的 o 系列模型即使没有专门针对这个任务训练，也能带来 30% 的提升。

• 即使我们设计出了更难的 benchmark，它们也往往会很快（而且越来越快）被这套 recipe 攻克。我的同事 Jason Wei 做了一张精彩的图，直观地展示了这个趋势。

那 AI 下半场应该做什么？如果新的训练方法不再必要，更难的 benchmark 也会被越来越快地攻克，我们应该怎么做？

我认为我们需要从根本上重新思考“评估”（evaluation），这不仅意味着设计更新、更难的 benchmarks，而是要彻底质疑现有的评估方法，创造新的评估方法，这样才能迫使我们发明超越现有有效的 recipe 的新方法。

但这很难，因为人类有惯性，人类很少去质疑最基础的假设——你只是理所当然地接受它们，却没意识到它们其实只是“假设（assumptions）”，而不是“定律（laws）”。

用一个例子来说明这种惯性，假如你基于人类考试，发明出了一种史上最成功的 AI 评估方法之一。在 2021 年这也许是一个突破性的想法，但到了 3 年后，这一方法已被很多人使用，属于非常常规的评估方法。那么你接下来会做什么？很可能是再设计一套更难的考试。

再比如，你已经成功解决了基础的编程任务，那么你接下来会做什么？很可能是寻找更难的编程任务，直到达到 IOI 金牌的水平。

惯性是一种很自然的现象，但问题也正出在这里。AI 已经在国际象棋和围棋上战胜了世界冠军，在 SAT 和律师资格考试中超过了大多数人类，达到了 IOI 和 IMO 金牌的能力，但至少从经济或 GDP 的角度看，世界并没有发生太大变化。

我将这个称之为“效用问题（utility problem）”，我认为这是当下 AI 领域最重要的问题。

也许我们很快就能解决“效用问题”，也许还不能。但无论结果如何，这个问题背后的根源可能非常简单：我们的评估方法在很多基本假设上与现实世界的设定不同。

举两个假设为例：

• 假设 1：评估应该是自动运行

通常一个 agent 会收到一个任务输入，自动完成任务，最后得到一个任务奖励。但现实中，agent 往往需要在整个任务过程中持续与人类互动，比如你不会给客服发一条长信息，然后等十分钟，期待对方给出一条详细答复来解决所有问题。当我们质疑这种评估假设时，就催生出了新的 benchmarks，要么将真实人类引入交互环节（例如 Chatbot Arena），要么引入用户模拟（例如 tau-bench）。

•假设 2：被评估的任务应该是独立同分布（i.i.d.）的

如果你有一个包含 500 个任务的测试集，评估的时候，你会将每个任务独立运行，最后对结果取平均，得出整体评分。

但现实中，任务往往是顺序进行的，而不是并行的。一位 Google 的软件工程师在逐步熟悉 google3 仓库后，会越来越高效地解决问题，但一个软件工程 agent 在同一个仓库中解决多个问题，却无法获得这种熟悉度。我们显然需要 long-term memory 的方法（事实上已经有一些相关尝试），但学术界缺乏能合理体现这种需求的正确 benchmarks，甚至缺乏质疑 i.i.d. 这个被视为机器学习基础假设的勇气。

这些假设一直以来就是默认存在的。在 AI 上半场，基于这些假设来设计 benchmarks 是合理的，因为在智能水平较低时，提高智能通常就能提升效用。现在在这些假设下，那套通用 recipe 已几乎被保证奏效。那么 AI 下半场这个新游戏的玩法会是：

• 我们需要开发面向现实世界效用的全新评估设定或 task；

• 我们需要用 recipe 来攻克这些评估设定或 task，或用新组件来增强 recipe，然后重复这个循环。

这个游戏很难，因为它充满了未知，但也格外令人兴奋。AI 上半场的玩家专注于攻克电子游戏和标准化考试，AI 下半场的玩家则通过把智能转化为有用的产品，打造出数十亿甚至万亿美元的公司。

上半场充斥着各种不断迭代的训练方法和模型，而下半场在某种程度上对它们进行了筛选。通用 recipe 会轻松碾压你的渐进式改进，你创造出能打破这套 recipe 的新假设。那时，你就能做出真正改变游戏规则的研究。