摘要
从1997年的深蓝，到2016年的AlphaGo，再到2022年的Cicero，游戏一直是衡量人工智能系统前沿能力的一种方式，并且也为获得具有更广泛应用价值的算法见解提供了途径。在本次演讲中，作者介绍了扑克、围棋和大语言模型等领域的研究突破，并特别强调搜索/规划算法在这些成就中所发挥的关键作用。然后，指出了这项研究在未来改进机器学习模型的潜在应用。
为什么被忽略
这件事以前没有得到应有的重视，我觉得它没有被列为最高优先级。
顺便提一下，当我说“搜索”时，我常常将它和“规划”交替使用。我认为搜索是一种规划。
基本上，问题在于，模型在执行时花费的时间比它预先计算的策略要长。那么，为什么以前没有被重视呢？
我认为一个原因是文化因素。研究人员，尤其是在博弈论领域的，倾向于计算一个平衡。如果你要这么做，你就必须验证你确实找到了一个平衡。所以你需要提前得到整个解决方案。而如果你在做规划，这意味着你并没有提前获得整个解决方案，因此你不知道自己离平衡还有多远。这是一种文化上的影响，AI扑克研究群体是从博弈论中走出来的，因此他们对不计算完整策略的方法有偏见。
另一个原因是进行规划实验的难度。随着测试时计算量的增加，衡量实验效果变得更加困难，尤其是在像扑克这样方差很大的游戏中。为了判断两个机器人谁更好，你可能需要打上百万手牌。而如果每手牌模型都要花30秒来计算，那实验会变得非常麻烦。
还有一个因素是激励机制。我认为今天的学术研究人员尤其应该关注这一点。人们总是想着，比如说我提到的年度计算机扑克比赛，大家的注意力总是集中在赢得这场比赛上，这是一个短期目标。而年度计算机扑克比赛限制了测试时的计算资源，只允许使用两个CPU核心。之所以有这个限制，完全是因为组织方的资金问题。如果在测试时耗费大量资源运行数百万手牌，成本将会非常高。因此，大家都把目光集中在赢得这场比赛上，而忽略了开发那些能够在更重要的基准测试中打败顶尖人类玩家的技术。
最后，我认为最重要的原因是，人们低估了规划带来的差异。如果你在我研究这个方向之前问我，做规划并把它加到扑克机器人中会产生多大的效果？我会说，也许相当于把模型规模扩大10倍，这已经算很多了。我不会想到它会带来10万倍的提升。我发现这是一个普遍趋势，大家低估了规划对这些模型的重要性。
接下来我想谈谈围棋。其实，搜索和规划的理念不仅限于扑克，实际上它们已经广泛应用于象棋和围棋等游戏中。如果你看看围棋中的表现，情况也类似，很多人低估了搜索和规划带来的影响。这里有一张来自AlphaGo Zero论文的图表。AlphaGo是2016年击败李世石的AI，而AlphaGo Zero是更先进的版本，几乎不依赖人类知识进行训练。
在图中，你可以看到纵轴是Elo评分，用来衡量人类和不同模型的表现，横轴则是不同版本的AlphaGo。AlphaGo Lee是对战李世石的版本，Elo评分大约是3600，刚好超过人类顶级水平。而AlphaGo Zero则更强，Elo评分约为5200，明显超越了人类水平。
不过，AlphaGo Zero不仅仅是一个神经网络，它还结合了蒙特卡洛树搜索算法。而如果你只看AlphaGo Zero的原始神经网络部分，表现只有大约3000 Elo，低于人类顶尖水平。因此，我要特别强调一点，即便AlphaGo Zero在训练时使用了蒙特卡洛树搜索，但如果在测试时不使用它，其表现仍然不如人类顶尖棋手。而自2016年AlphaGo问世以来，直到2024年，仍然没有哪个仅使用原始神经网络的模型能够超越人类在围棋中的表现。
当我向人们提到这一点时，很多人会说，只要训练一个更大的模型，最终肯定会超越人类。理论上这确实可能，但问题是，模型需要变大到什么程度才能与AlphaGo Zero相媲美？根据经验法则，Elo评分每提高120分，需要模型规模和训练时间增加一倍，或是测试时的计算量增加一倍。按照这个规律，如果原始策略网络的Elo为3000，那么要达到5200分，需要将模型规模和训练量扩大10万倍。
当然，我必须说明一点，我并不认为AlphaGo Zero的真实Elo是5200分，因为这个分数是通过与其早期版本对战得出的，因此可能存在一些偏差。这个分数更可能在1000到1万之间。但无论如何，模型的规模和训练量都需要大幅增加，才能与使用蒙特卡洛树搜索、思考30秒后行动的版本相匹敌。
值得一提的是，这仍然假设在训练和自我对弈过程中使用了蒙特卡洛树搜索。如果在训练过程中不使用这一技术，那么模型的表现将远远不及预期。
当我注意到这个模式时，我开始思考，在不同领域如何应用规划而不是单纯依赖深度强化学习。
2019年，深度强化学习很流行，但我发现，在很多领域，规划能带来更显著的效果。比如Hanabi，这个不完美信息的合作游戏。2019年，DeepMind提出了Hanabi作为新的基准，并通过深度强化学习算法实现了58.6%的胜率。
Hex
搜索的有效性
所以，这里有一个普遍的趋势，那就是对于某些问题，为什么规划在很多领域都有效？我认为其中一个根本原因是存在一种你可以称之为“生成器—验证器差距”的现象。基本上，在某些问题中，验证一个好的解决方案比生成一个好的解决方案要容易得多。
举个例子，在扑克中，验证你是否处于均衡状态要比计算出一个均衡容易得多。在国际象棋中，验证你是否处于一个非常好的棋局状态要比找到达到这个状态的路径容易得多。而在数独游戏中，验证你是否有一个解决方案比找到解决方案要容易得多。
这种情况在谜题、数学、编程、证明等领域中是普遍存在的。例如，验证一个证明比生成一个证明要容易得多。不过，有些领域并非如此。
例如，信息检索。如果我问你“不丹的首都是哪里”，我可以给你十个不同的选项，我认为这些选项实际上会帮助你告诉我正确答案，至少对于大多数人来说是这样的。而图像识别也是一个类似的领域。在这些领域中，验证并不比生成容易多少，因此我们可以预期在这些领域中，规划不会产生太大的影响。
但当存在生成器—验证器差距，并且我们有一个非常好的验证器时，我们可以在生成过程中花费更多的计算资源，然后在找到一个好的解决方案时进行验证。
LLM
接下来我们将讨论大型语言模型（LLMs）。我应该提到，我只能谈论已发布的研究，所以讨论会限制在这些已发表的内容上。计算资源扩展在语言模型中是什么样的？有一些实例，我认为人们低估了这些技术的影响。
最简单的例子是一个叫做共识的算法。基本思想是，不仅生成一个解决方案，而是生成多个解决方案，然后选择最常见的那个。有一篇关于Minerva的论文，涉及一个数学基准测试，认为要达到50%的表现需要很长时间。但在2022年，谷歌发布了Minerva，它在这个数学基准测试上得分超过50%。这让LLM社区感到意外，因为数学被视为LLMs非常困难的任务之一。他们通过共识生成很多解决方案，并返回最常见的那个，最终将Minerva的表现从33.6%提升到50.3%。共识有其局限性，比如当答案是一个单一数字时容易使用，但写证明时就难多了。
还有另一种方法是“最佳n”。想法是有一个奖励模型来评估生成结果的质量，而不是返回第一个结果，而是生成n个方案，然后返回奖励模型认为最好的那个。若奖励模型足够好，“最佳n”会优于共识，但其瓶颈在于奖励模型的质量。若奖励模型不佳，会出现过拟合，表现可能比共识差。这个方法在有明确正确答案的领域很有用，如国际象棋或数独。
OpenAI最近发布了一篇论文，介绍了逐步验证的过程奖励模型。这个方法不仅验证最终解决方案，而是逐步检查每个步骤是否正确。如果某个步骤错误，整个解决方案就标记为错误。
在比较中，可以看到共识、最佳n和过程奖励模型的成功率。在数学基准测试中，共识的成功率从大约60%提升到近70%。使用“最佳n”可以达到72.4%的成功率，而过程奖励模型则提高到78.2%。生成更多样本时，成功率似乎还会继续上升。一个有趣的例子是一个数学问题，要求简化“10的100度加上4乘以100度的正弦”，原始GPT-4模型只有千分之一的成功率，但通过逐步验证每一步，可以显著提高成功率。
现在，我想谈谈当前AI的整体趋势。开始时，我在研究扑克的AI时，人们认为他们找到了达到超人类表现的方法。每年，模型会变得更大，在更多数据上训练，并总是击败前一年的模型。如今的AI状态与此类似，我们有一种有效的技术，可以在更多数据上训练，模型也在不断提升。有人认为这就是我们需要做的。
但我想指出的是，这些模型的推理成本仍然相对较低。你可以立即在ChatGPT上问问题，得到快速响应，成本也很低。这并不一定是必须的，许多游戏并非如此。下一个目标是普遍性：我们能否开发出真正通用的推理计算扩展方法？这是一个非常困难的问题。我们已经开发了许多扩展推理计算的搜索技术，但它们通常非常特定于我们所关注的领域。我和其他人正在努力开发更通用的方法。这将涉及在测试时投入更高的计算成本，但会带来更强大的模型。对于许多领域，我们愿意进行这样的权衡。虽然在一些情况下，我们不想等待很长时间的响应，但在其他情况下，我们愿意等待数小时、数天甚至数周来获取答案。
我想给学术界一些建议，因为我知道很多学术界人士，特别是研究生，想了解如何在这个新的AI时代开展研究。我认为规划实际上是一个相对适合学术研究的领域。虽然相比之下，在工业界进行这种研究会更容易，但规划在学术界仍是一个不错的领域。大型公司通常愿意在训练一个优秀模型上投入大量计算，但在推理成本上希望尽可能低。因此，在学术界，生成概念验证和少量样本的压力并不像工业界那么大。此外，我建议考虑在有外部验证者的领域工作，以避免被奖励模型的质量所限制。
最后，我想引用《苦涩教训》中的一句话。如果你还没读过这篇文章，我强烈推荐。这是篇很棒的短文。文中提到，“从70年的AI研究中可以得到的最大教训是，利用计算的通用方法最终是最有效的。看似可以任意扩展的两种方法是搜索和学习。”在学习扩展方面，我们已经做得很好，苦涩教训已经被内化。但在搜索的维度上，还有更多可以做的。
