AI模型的推理能力正在迎来新一轮飞跃。
就在OpenAI的o1模型因强大的推理能力震惊业界之际，Anthropic的Claude 3.5 Sonnet却用一招"曲线救国"的方式，在某些方面甚至超越了o1的表现。
这一突破性进展不仅让人对AI的未来更加期待，也为其他模型提供了一条可行的"进化路径"。
动态思维链：Claude 3.5 Sonnet的制胜法宝
Hugging Face的技术主管Philipp Schmid(@_philschmid)最近公布了一项令人振奋的研究结果。研究团队通过结合动态思维链（Dynamic Chain of Thoughts）、反思（reflection）和语言强化（verbal reinforcement）等提示技术，成功让Claude 3.5 Sonnet在复杂推理任务上表现出色，甚至在某些方面超越了GPT-4，与o1模型不相上下。
这种方法的核心在于：
利用动态思维链让模型进行多步推理
通过反思机制对推理过程进行自我审查
用语言强化来引导模型朝正确方向思考
实验结果显示，经过这样的"特训"，Claude 3.5 Sonnet能够在复杂问题上进行50多个推理步骤，创建内部模拟场景，大大提升了解决问题的能力。
硬核测试：学霸AI的诞生
研究团队没有选择常规的AI测试集，而是采用了一系列极具挑战性的学术考试作为benchmark，包括：
JEE Advanced（印度高等教育联考）
UPSC（印度公务员考试）
IMO（国际数学奥林匹克）
Putnam（美国大学生数学竞赛）
这些考试都以难度高、综合性强著称，对AI模型的推理能力和知识应用能力是极大的考验。
结果令人惊喜：Claude 3.5 Sonnet不仅超越了GPT-4，还在多个方面与o1模型旗鼓相当。
这一成果为AI在复杂推理任务中的应用开辟了新的可能性。
小模型也能变"聪明"
更令人兴奋的是，这种方法不仅适用于大模型，对于较小的开源模型同样有效。实验显示，应用同样的技术后，Llama 3.1 8B模型的表现提升了约10%，在某些测试中甚至接近了GPT-4的水平（Llama 3.1 8B得分33/48，而GPT-4得分36/48）。
这一发现意味着，即使是计算资源有限的研究者和开发者，也有机会通过优化提示策略来显著提升模型性能。
挑战与局限
当然，这种方法也存在一些局限性：
高昂的计算成本：仅7个问题就消耗了Claude Sonnet 3.5约100万个token，这对普通用户来说可能难以承受。
测试范围有限：由于计算资源和预算限制，研究团队没有进行MMLU、MMLU pro或GPQA等更全面的测试。
适用性有待验证：虽然在学术测试中表现优异，但在实际应用中的效果还需进一步验证。
@kimmonismus对此评论道：
在 o1 成功使用 CoT 之后，其他模型在推理能力上赶超只是时间问题。这次，他们尝试通过 CoT 将 Sonnet 3.5 提升到 o1 水平，甚至在某些方面超越了 o1。这让人更加期待 Opus 3.5 的表现。
o1模型的成功为其他AI模型指明了方向。Claude 3.5 Sonnet的这次突破，不仅证明了思维链方法的强大，也让人对即将到来的Opus 3.5充满期待。
@BallDominance 则幽默说到：
这对 o1 和 OpenAI 来说更像是一种失望。
这次技术的进步往往是相对的，一个模型的突破可能意味着另一个模型的不足。
而此时的Sam Altman，估计刚抹完了眼泪，开始催着下一个还没经过充分测试的项目赶快发布了！
@koltregaskes则强调了提示工程的持续重要性：
提示词依然非常强大。你可以调整例如 DCoT 的提示词，使其适用于 o1 模型，从而提升回复质量。你不必依赖实验室提供的内置功能；可以额外加入提示词。?
即使面对最先进的AI模型，人类的创造力和灵活性仍然是不可或缺的。
随着AI模型推理能力的不断提升，我们或许正在见证一个新时代的到来——在这个时代，AI不仅能够回答问题，还能真正地"思考"。
这将为科研、教育、医疗等领域带来革命性的变革。
那么，你认为下我们离真正的"思考型AI"还有多远？
