决策模型不解释答案，上下文设计成为AI构建者的核心能力

决策模型当前正大热：互联网上热议Jev（来自TypeSafe AI）、Cloudflare的Clef，以及OpenAI的Decisions API。这些模型通过跳过冗长的文本生成过程、直接以JSON格式返回结构化输出（并附带置信概率），实现了低延迟。

软件开发者非常青睐这种确定性，因为它让结构化数据易于集成到应用程序中。只需提出一个问题，即可获得一个固定的JSON响应，可用库直接提取；无需复杂的文本解析或格式理解。

一种有意识的选择

在底层，每一款现代 大语言模型 （LLM）均采用相同的Transformer编码器-解码器架构。提示词被输入并编码为更小维度的表示，再逐次解码，每次生成一个token，最终统一生成输出文本。

拥有数十亿参数的模型在数万亿行文本上进行训练，学习复杂的语言模式，以确保所生成文本遵循模拟人类思维与对话的模式。冗长的文本输出通常包含模型为得出结论所使用的推理过程。这一点极为有用，以至于催生了一个独立的模型类别——推理模型（reasoning models），其核心目标是专门构建一条清晰的推理轨迹，以支撑决策。

但在决策 模型中，我们有意识地选择不包含冗长的推理过程，而是直奔答案。这种所谓‘系统1’（System 1）式思维在特定场景下极具价值，因为它能让我们更快获得答案，并显著节省token消耗。然而，我们最终往往会在系统中积累技术债务。因此，我们实际上丧失了使大语言模型如此强大的核心能力。

我们来看一个示例。我通过OpenRouter接口向不同类型的模型提问：“今天会下雨吗？” 一款 传统大语言模型 会先通过推理理解预测所需的条件及存在的限制，再做出预测。 

现在，若向Jev这类决策模型提出相同问题，它将返回一种名为“noul”的数据结构（该名称致敬伟大的瑞士数学家兼物理学家丹尼尔·伯努利）。

noul仅携带一个值，即true或false。因此，模型不会作任何解释，仅给出一个泛化的响应， true 或 false。这可能极具误导性，尤其当我们使用模型回答关键问题时。

这是一个示例。

这并不意味着决策模型无用或错误。它仅仅表明这些模型不像 传统大语言模型那样具备可解释性。这便将一项关键责任转移至AI构建者与软件开发者身上：如果模型不会为你推理，你就必须在模型运行前为其完成推理。此时，上下文设计（context design）便成为AI构建者所能掌握的最重要技能。

借助上下文设计，你的目标是将所有相关信息打包进提供给模型的上下文或状态中，使其能够做出知情决策。在由传统大语言模型驱动的智能体（agent）中，你可以提出一个模糊的问题，模型通常会主动追问澄清性问题，或以冗长方式解释其所做的假设。

而在决策模型中，不存在此类机制。模型仅接收你提供的上下文，将其映射至自身训练所得知识，并返回一个结构化输出——通常为单个值。你可以利用该值及其对应概率，在应用程序中编程实现相应操作。但模型不提供决策轨迹或日志，因此我们无法完全明晰模型作出该决策的具体原因。

决策模型在某些场景中表现突出；例如，将大语言模型用作评判者（LLM-as-a-judge），即把聊天机器人的回答与预先定义的真实‘黄金标准’答案进行比对。另一适用领域是支持工单分诊（support ticket triage）与分类映射（category mapping）。支持工单通常包含大量需被理解的冗长文本，方能准确映射至恰当的分类或负责团队。

时间将证明还有哪些主要应用场景浮现。但有一点确凿无疑：决策模型是大语言模型丰富发展历程中的一项重大技术升级。

达塔拉杰·饶（Dattaraj Rao）是Persistent Systems公司的创新与研发架构师

欢迎加入VentureBeat社区！

我们的客座投稿计划（guest posting program）面向技术专家，旨在分享洞见，并提供中立、无利益关联的深度剖析，涵盖人工智能、数据基础设施、网络安全及其他塑造企业未来前沿科技。

阅读更多 来自我们客座投稿计划的内容——并查阅我们的 投稿指南 ，若您有意贡献自己的文章！