OpenAI发布的o1模型引起了不小的轰动。许多人都在赞叹o1模型那所谓的"思考先于言语"的能力。作为一名AI研究者，我不禁要问：o1真的有那么神奇吗？它真的实现了AI在"说话"之前进行深度思考吗？让我们冷静下来，仔细分析一下。
我们要承认，o1模型确实在某些方面取得了进步。根据OpenAI发布的技术报告，o1模型在GSM8K、CommonsenseQA等多个基准测试中都取得了不错的成绩。特别是在抵抗"越狱"攻击方面，o1模型展现出了强大的韧性。这些成果值得肯定。
然而，当我们仔细审视o1模型的所谓"思考"机制时，就会发现它其实并没有太多创新。o1模型所谓的"思考"过程，本质上还是基于大规模强化学习的训练。这种方法虽然可以提高模型的性能，但是否真的等同于人类意义上的"思考"，是很值得怀疑的。
核心突破：内化的思维链
o1模型最引人注目的特点是其"思考先于言语"的能力。传统的大语言模型往往是"想到什么说什么"，而o1则会在给出答案之前，先在内部进行一系列的推理。这种方法被称为"思维链"（chain of thought），它使得模型能够像人类一样，先组织思路，然后再表达观点。CoT自2022年被谷歌发布以来已经有7100多次引用，第一作者Jason Wei后来也去了OpenAI。
CoT不仅是一个简单的提示技巧，而是一种能够显著提升语言模型表达能力和推理能力的方法。然而，CoT这种能力的提升仍然受到概率、记忆和噪声等因素的影响。具体您可以看：《你真的了解CoT？普林斯顿大学解密影响CoT效率的因素，引用5875次的CoT讲了啥》根据这篇文章，我提出了一个改进型的CoT Prompt框架，已经在赞赏群里。
CoT这种能力不仅提高了模型回答的质量，还大大增强了其遵循安全准则和政策的能力。o1能够在内部推理过程中考虑各种因素，包括道德、安全和政策限制，从而做出更加周全和负责任的回应。
技术实现：强化学习
o1模型是通过大规模强化学习训练而成的。这意味着模型不断尝试不同的思考策略，并从结果中学习，逐步完善自己的推理能力。这种训练方法使得o1能够：
1. 在回答问题前生成长链条的思维过程
2. 不断改进思考策略
3. 识别并纠正自己的错误
这种方法的优势在于，模型不仅学会了"如何回答"，更学会了"如何思考"。
o1模型在多语言处理方面也取得了显著进步。通过对14种语言的MMLU测试集进行评估，研究人员发现o1-preview在多语言能力上大幅超越了GPT-4o，而o1-mini也优于GPT-4o-mini。这意味着o1模型在处理全球化信息和跨语言交流方面具有更强的适应性。
o1模型与Quiet-STaR：思考的两种范式
更重要的是，我们不应该忘记，早在o1模型之前，斯坦福大学的研究团队就提出了一种名为"Quiet-STaR"的技术，这种技术才真正让AI学会了在"说话"之前进行思考。
图片由小鱼创作
之前，我介绍过这篇文章，大家可能还有映像。《斯坦福重磅，用这条Prompt让LLM说话之前先思考》Quiet-STaR(Quiet Self-Taught Reasoner)的核心思想是：在每个输入token之后插入一个"思考"步骤，让AI生成内部推理。然后，系统会评估这些推理是否有助于预测后续文本，并相应地调整模型参数。这种方法不仅能让AI学会自主推理，还可以从普通文本中学习，而不需要特定的推理任务数据集。
相比之下，o1模型的所谓"思考"过程显得相当粗糙。o1模型主要是通过强化学习来优化特定任务的推理能力，而Quiet-STaR则致力于让AI从根本上学会如何思考。这是质的区别。
Quiet-STaR：普遍化的自学习
Quiet-STaR技术，源于Eric Zelikman等人的研究，代表了另一种让AI学会思考的方法。与o1不同，Quiet-STaR旨在让模型从普通文本中学习推理能力，而不仅仅局限于特定的问答任务。
Quiet-STaR的核心思想是：
1. 在每个token后生成解释性的推理（think）
2. 混合使用有推理和无推理的预测（talk）
3. 通过REINFORCE算法学习生成更好的推理（learn）
这种方法允许模型在处理各种文本时都能进行隐含的推理，而不仅仅是在回答问题时。
技术亮点：
1. 并行采样算法：解决了在长序列中为每个token生成推理的计算成本问题。
2. 可学习的开始/结束标记：帮助模型理解何时应该生成推理，何时应该基于推理做出预测。
3. 混合头：决定如何将推理后的预测整合到当前的下一个token预测中。
4. 非近视损失：考虑多个未来token，改善了思考的效果。
o1 vs Quiet-STaR：异同点分析
1. 训练范式：
- o1：专注于通过强化学习优化特定任务的推理能力。
- Quiet-STaR：旨在从一般文本中学习推理，更加普遍化。
2. 应用场景：
- o1：主要针对问答、对话等具体任务。
- Quiet-STaR：可应用于任何文本生成任务。
3. 推理可见性：
- o1：内部推理过程可以选择性地展示给用户。
- Quiet-STaR：推理过程完全内部化，不直接展示给用户。
4. 计算效率：
- o1：在推理时可能需要额外的计算资源。
- Quiet-STaR：通过并行算法提高了效率。
5. 安全性考虑：
- o1：安全性训练是模型开发的核心部分。
- Quiet-STaR：安全性考虑相对较少，更多关注推理能力的提升。
更令人印象深刻的是，Quiet-STaR在零样本(zero-shot)设置下就取得了显著进步。在GSM8K任务中，准确率从5.9%提升到了10.9%;在CommonsenseQA任务中，准确率从36.3%提升到了47.2%。这些改进是在没有针对特定任务进行微调的情况下实现的，充分证明了Quiet-STaR学到的推理能力具有很强的泛化性。
而o1模型呢？尽管OpenAI声称它在多个任务上达到了"state-of-the-art"水平，但我们不要忘了，这些成绩很可能是在大量特定任务数据的微调下才达到的。这与Quiet-STaR的普适性形成了鲜明对比。
更值得注意的是，Quiet-STaR还引入了一个名为"混合头"的创新组件。这个组件可以动态调整模型对思考结果的依赖程度，使得模型能够根据不同的输入和上下文灵活地决定是否需要深入思考。这种设计远比o1模型的简单强化学习要精细得多。
不仅如此，Quiet-STaR还采用了非近视(non-myopic)的损失函数，同时考虑多个未来token的预测。这种设计使得模型能够进行更长远的推理，而不是仅仅关注下一个token。相比之下，o1模型的训练目标显得相当短视。
当然，o1模型也有其亮点。例如，它在多语言处理方面确实取得了不错的进展。但是，我们要问的是：这种进步是否真的源于模型的"思考"能力，还是仅仅来自于更大规模的训练数据和更复杂的模型结构？Scaling Law或许已经走到了尽头，模型再发展下去也不过如此
事实上，如果我们仔细分析o1模型的性能提升，会发现它主要集中在"困难"token的预测上。这确实说明o1模型学会了在某些情况下进行更深入的处理。但是，这种能力与Quiet-STaR所展示的全面的、自主的推理能力相比，还是显得相当有限。
更重要的是，Quiet-STaR的设计理念更符合我们对AI未来发展的期望。我们希望AI能够真正学会思考，而不是仅仅在特定任务上表现出色。Quiet-STaR朝着这个方向迈出了实质性的一步，而o1模型，尽管取得了一些进步，但在本质上仍然没有脱离传统的训练范式。
还是9.11和9.8哪个大的简单实验
那么，对于正在开发AI产品的Prompt工程师们，我的建议是：不要被o1模型的宣传所迷惑。相反，你们应该更多地关注像Quiet-STaR这样真正创新的技术。事实上，你们完全可以尝试将Quiet-STaR的思想应用到现有的模型中，比如GPT-4，或者各方面都让你比较满意的模型。
直接把问题给到GPT 4O还是一地鸡毛。
以下是用这个基于Quiet-STaR思想的简化Prompt框架运行的结果：
使用这个Prompt框架，你甚至可以让GPT-4表现出类似于"思考先于言语"的能力。虽然这可能不如Quiet-STaR那样在模型层面实现自主思考，但对于大多数实际应用来说，这种方法已经足够有效了。
其实用谷歌的另一个研究，我前几天的一篇文章《你理解的LLM自我纠错能力可能要让你遗憾了，LLM推理能力的真相 |ICLR2024》也可以做到，当时o1模型尚未发布，以下是用GPT 4o运行的结果，有兴趣可以看下原文。
总的来说，o1模型确实代表了AI技术的一个进步，但它远没有达到"革命性突破"的程度。相比之下，斯坦福的Quiet-STaR技术才是真正值得我们关注和期待的方向。它展示了一种让AI真正学会思考的可能性，而不仅仅是在特定任务上表现出色。
另外，还有一个奇葩的点能给你祛魅，就是o1模型的取费比较贵，新引入了一个Hidden reasoning tokens的概念，也就是说，大模型“思考”所用的token，要掏你的钱包付费哦……
作为AI研究者和开发者，我们应该保持清醒和批判的态度。我们要学会区分真正的创新和炒作，要把注意力集中在那些能够推动AI本质进步的技术上。只有这样，我们才能把握住AI真正的方向，而不是被潮流带着走。
