LLM下的「幻觉」vs「泛化」

导读：

作者在本文通过之前在Hacker News上关于大语言模型（LLM）「幻觉」问题论文的讨论，延伸思考到LLM上的另一个特性「泛化」问题，并冥冥之中感到两者之间似乎存在着某种有趣的联系...

ps：明天即将迎来假期，祝大家五·一假期快乐！

最近，一篇关于幻觉问题的论文就在 Hacker News 上引起了激烈讨论，很多开发者聊着聊着就聊到了哲学问题上：

而这篇论文的标题也非常具有冲击性——《幻觉不可避免：大型语言模型的内在局限性》（Hallucination is Inevitable: An Innate Limitation of Large Language Models），作者是隶属于新加坡国立大学计算学院的 Ziwei Xu, Sanjay Jain 和 Mohan Kankanhalli。这篇论文试图证明大语言模型（LLMs）中的幻觉无法完全消除，即使采用现有的幻觉缓解方法也无法完全解决。

论文链接：https://arxiv.org/abs/2401.11817v1

如今，大模型厂商各显神通，幻觉缓解手段也是层出不穷；而对于严重依赖于模型输出的决策场景，如医疗诊断、法律咨询等领域，开发者会采取更为保守的方法，限制模型在高风险情境下的自主生成行为，或者在必要时直接拒绝回答不确定的问题。但是，如果幻觉真的无法避免，那我们以后岂不是要盼着概率过日子？接下来，让我们一起解读这篇论文，看看幻觉背后隐藏的真相究竟是什么。

到底什么是幻觉？

尽管现有研究从数据、训练及推理等角度揭示了大模型产生幻觉的多种原因，但关于彻底消除幻觉的可能性尚无定论。这一核心问题对于理解大模型能力的潜在极限至关重要，而由于无法穷尽所有可能输入进行测试，仅凭经验方法难以解答。于是，论文作者着手正式定义幻觉，并论证了在大模型中完全消除幻觉实际上是不可能的。他们构建了一个形式化的框架，其中幻觉被界定为大模型与真实世界可计算函数间的不一致。通过结合学习理论成果，作者展示大模型无法学习全部可计算函数，因而必定会出现幻觉。考虑到实际世界的复杂性远超形式化世界，此结论同样适用于现实生活中的大模型。此外，针对受时间复杂度限制的现实大模型，文章提出了易于诱发幻觉的任务实例，并通过实验证据加以支撑。最后，基于形式化框架，作者探讨了现有缓解幻觉策略的内在机制及其对大模型安全有效部署的实际影响。
幻觉的基本概念与定义幻觉在心理学和神经科学中通常指的是个体在没有外部刺激的情况下感知到不存在的事物。在大语言模型的背景下，幻觉被定义为模型生成的与事实不符或毫无意义的信息。这种现象在模型的输出中表现为虚假但听起来合理的陈述，引发了对安全性和伦理的担忧。幻觉在大型语言模型中的具体表现在大模型中，幻觉的表现可以归类为内在幻觉和外在幻觉。

• 内在幻觉发生在模型的输出与提供的输入相矛盾时，例如与提示信息不符。

• 外在幻觉则发生在模型的输出无法通过输入中的信息进行验证。

此外，幻觉还可以通过用户指令的不一致性来分类，包括指令性、上下文性和逻辑性不一致。这些幻觉可能源于数据收集、训练和推理过程中的多种问题，如启发式数据收集、固有偏差、不完美的表示学习、错误的解码、暴露偏差和参数知识偏差。

用数学定义现实世界！

在探究大模型的幻觉倾向时，研究者们首先形式化定义了整个世界，其中幻觉被定义为计算机可实现的大模型与可计算的真实函数之间的不一致性。实验的目的是验证大模型是否能够学习所有可计算的函数，从而总是产生与真实函数一致的输出，即是否能完全避免幻觉。一言以蔽之，就是用数学来解释幻觉。实验中，研究者们利用学习理论的结果，证明了大模型无法学习所有可计算的函数，因此总会产生幻觉。

定义 1（字母表和字符串）：字母表A 是一个包含 N 个标记的 有限集合A={a0, a1, ..., aN-1}。字符串 是通过 n 次连接标记得到的序列 w0, w1...wn-1。

定义 2（大模型）：设 S 为 字母表A 上所有有限长度字符串的 可计算集合b，(s0, s1, ...)为其元素的一一对应枚举。大模型h 被记为一个函数，能在有限时间内使用 预测令牌h(s) 完成输入字符串s∈S。函数h 通过一系列输入-完成对的训练样本程序性地获得。

定义 3（P 验证的大模型）：设 P 为一个可计算算法，当函数具有特定属性（例如全可计算性或多项式时间复杂度）时返回“真”，则 P 验证的大模型 是按定义 2 所述的大模型，可以在有限步骤内被 P 证明具有该特定属性。

根据定义 3，P 可证明的大模型构成了所有大模型的一个真子集。作者将大模型视为全体可计算函数的一个子集。与一般的全体可计算函数不同，大模型可以根据其输出结果的合理性程度划分为一个连续谱。在“nonsensical”（无意义）一端是一个无感知的标记预测器，它会产生对输入字符串s的无意义补全；而在“ideal”（理想）一端，则是一个无幻觉函数，能够将任何结构良好的输入字符串补充为合理且真实的文本。“ideal”一端以虚线表示，因为它表明任何大模型都无法达到这样的理想状态，因此不在大模型集合之内。在这两者之间是现实世界的大模型：它们的输出大多数时候是可以理解的，但偶尔会发生“幻觉”，生成非事实性的陈述。这种谱系关系以及大模型与全体可计算函数之间的联系在上图中得以展现。在形式化世界中，幻觉被定义为大模型输出与 ideal 正确结果之间的不匹配。在这个世界里，存在一个可计算的真值函数 f，它对所有输入字符串 s∈S 都能产生唯一正确的补全 f(s)。形式化世界的定义如下：

定义 4（形式化世界 f）：对于给定的 真值函数f，其形式化世界Gf={(s, f(s)) | s ∈ S} 是一个集合，其中对于任意输入 字符串s，f(s) 是唯一的正确补全结果。

训练样本 T 则是一组从形式化世界中获得的输入-输出配对。

定义 5（训练样本 T）：训练样本T 是一个集合 {(s0, y0),(s1, y1), ..., (si, yi), ... | si ∈ S, i ∈ N, yi = f(si)}。这个集合代表了 真值函数f 对输入字符串如何回应或完成的概括。

当训练好的大模型 h 未能完全复制真值函数 f 的输出时，我们称该模型相对于 f 发生了幻觉。

定义 6（幻觉）：若存在 s∈S 使得 h(s) ≠ f(s)，则模型相对于 真值函数f 出现幻觉。

基于此定义，幻觉不再与真实世界中的正确性或真实性直接相关，而是指大模型 Gh 所构建的形式世界与其对应的真值函数 Gf 形式世界之间的不一致性。Gh 和 Gf 之间可能存在以下三种关系：

• 完全幻觉：Gh ∩ Gf = ∅，即大模型在所有 s∈S 上均发生幻觉。

• 部分幻觉：Gh ∩ Gf ≠ ∅且Gh ≠ Gf，即大模型在部分 s∈S 上发生幻觉。

• 无幻觉：Gh = Gf，表示大模型是针对 f 而言无幻觉的理想模型。

紧接着开始训练大模型。

定义 7（基本问题）：对于任何给定的 真实值函数f，是否可以通过使用 训练样本集T 来训练一个 大模型h，使其满足对于所有 s∈S，都有 h(s) = f(s)？

定义 8（大模型的训练与部署）：大模型h 通过以下可计算实现的步骤进行训练和部署。

输入：一系列无限或者大量且连续流入的 训练样本流T，表示为 T = ((s0, f(s0)), (s1, f(s1)), ...)，其中每个样本对由 字符串si 和其对应的 真值函数f(si) 组成。

输出：经过训练后的 大模型h[i]，期望该模型在某次迭代 i∈N 时能够近似或等同于 f。

训练过程：将大模型初始化为参数随机分布的模型，记为 h[0]。设置 迭代计数器i 为 0。

训练与验证迭代：(a) 如果达到停止准则（即模型已准备好），则结束当前迭代。(b) 从 训练样本流T 中取出一对 样本数据(si, f(si))。(c) 根据至今为止的所有样本 {(sj , f(sj )) | j ≤ i} 更新 大模型h[i] 至 h[i+1]。(d) 让 迭代计数器i 递增，即 i ← i + 1，并返回继续训练。部署阶段：将最终训练得到的 模型h[i] 作为 最终模型h 进行部署，并结束整个训练程序。

如上图所示，插图(a) 展示了现实世界的语料库，它包含了 (b)形式化世界 中 真值函数f 及其 训练样本T 的所有内容。在 (c)部分，展示了根据定义 8 训练 大模型h 的过程，该过程通过使用训练样本不断更新模型，直到达到停止准则为止。最后，在 (d)部分，经过训练的大模型被部署，并针对未见过的 字符串s 生成输出结果。幻觉的定义是通过比较大模型生成的 答案h(s) 与 真实值f(s) 来实现的。实验结果表明，无论模型架构、学习算法、提示技术或训练数据如何，大模型在形式化世界中总是不可避免地会产生幻觉。由于形式化世界是真实世界的一部分，这一结果也适用于真实世界中的大模型。此外，实证研究表明，即使是最先进的大模型，在某些真实世界问题中也倾向于产生幻觉，这验证了理论结果的有效性。

无法彻底解决的幻觉，应该如何缓解？

目前，减轻大模型幻觉的方法主要依据两大原则：提升大模型的能力，并通过训练样本或归纳偏置向大模型提供更多有关真实世界的知识。例如，可以通过增大模型参数和训练数据量来增强大模型的复杂性，或者采用基于检索的技术、提示策略以及新的解码方法来减少幻觉现象。然而，这些措施都有其局限性，比如在大模型无法捕捉到真实世界函数时，单纯增加参数和数据是无效的。尽管有多种尝试减轻幻觉的手段，但已有研究指出，在形式化世界中，大模型不可避免地会产生幻觉，这意味着在现实世界中也无法完全根除幻觉。因此，未来的研究路径可能包括更深入探索幻觉的本质特征、如何控制和降低幻觉的程度，以及研发能够检测并纠正幻觉的外部知识库与推理工具。此外，对大模型安全边界的探究对于确保大模型的持续健康发展至关重要。

在实际应用中，大模型在关键决策支持方面存在一定的局限性。由于大模型在处理某些问题时会产生幻觉，即生成看似合理但实际上并不准确或无意义的信息，这种现象在关键决策过程中可能导致严重后果。例如，在医疗诊断、金融风险评估或法律咨询等领域过度依赖大模型的输出，可能会导致错误的判断和决策。大模型的幻觉现象还可能对社会伦理产生潜在影响。由于大模型生成的内容可能包含偏见、误导信息或不准确的事实，这些输出可能会误导公众，影响社会观念和行为。例如，在生成新闻摘要或历史事件描述时，大模型可能会无意间传播错误信息，从而扭曲人们对事件的理解和记忆。此外，在创作文学作品或艺术创意时，大模型可能会生成独特但非真实的素材，尽管在某些情况下这被视为创新，但也可能引发关于版权、原创性和真实性的争议。然而，这篇论文揭示出幻觉问题是大模型内在固有的，无法完全消除。因此，未来的研究将更多地关注如何减轻幻觉现象的影响，并探讨如何在确保安全和可靠性的前提下充分利用大模型的优势。

以上，通过一篇关于幻觉问题的论文且发生在 Hacker News 上引起了激烈讨论为缘由，为大家从数学形式化定义的角度尝试阐释了关于模型幻觉的一些观点，为了更进一步探索和理解模型背后的幻觉这一问题，接下来将跟大家一起接下来针对幻觉和泛化这两个概念进行一些更深入和延展性的思考↓

幻觉 vs 泛化？

不知大伙在读过作者于今年3月创立公众号之初所写的「融合RL与LLM思想，探寻世界模型以迈向AGI」 · 系列文章中是否还记得「中篇」当中尝试对RL与LLM本质探寻过程中这一问题进行的一些更深刻背后理论的阐释内容（如未读过此系列文章的读者朋友，可跳转至链接：「融合RL与LLM思想，探寻世界模型以迈向AGI · 中/下篇」中后半部分），如下图截取所示：

其中，文中为了探索LLM走向AGI过程中关于与强化学习（RL）认知模式的融合，再到LLM自回归学习与RL模式的本质探寻，从而尝试提出并阐释了关于认知本身的基于Tokenize世界中构象或分布的Pattern映射表征。

同时，在后续系列合订本的更新中「融合RL与LLM思想，探寻世界模型以迈向AGI · 上中下合订本」，对上述观点的尝试采用微分几何、微分拓扑和数据科学等学科中的数学概念进行描述，包括计算共形几何、数据流形嵌入、再到认知流形的分布等内容，如下图所示：

敏锐的读者，可能会察觉其中的阐释中多次隐含出现的「泛化」概念。同时，泛化本身的概念可以通过上述流形分布来进行数学抽象描述，而这某种程度也是大语言模型LLM或其他深度学习模型呈现出“涌现”的基础。

如在美国纽约州立大学顾险峰教授所创立的跨领域学科“计算共形几何”中所阐述的关于流形分布理论观点所描述的那样，在深度学习领域，一个自然的数据集被视为一个流形上的概率分布，这被称为是流形分布定则。我们将观察到的一个样本看成是原始数据空间中的一个点，大量的样本构成原始数据空间中的一个稠密点云，这片点云在某个低维流形附近，这个流形被称为是数据流形。点云在数据流形上的分布并不均匀，而是满足特定的分布规律，被表示成数据概率分布。

那么，我们自然产生如下的疑问：1. 为什么数据点云是低维的，而非占满整个原始数据空间？2. 为什么点云集合是流形，即局部是连续光滑的？

关于第一个疑问的回答是：因为自然现象满足大量的自然规律，这些规律的限制降低了数据样本点云的维数，而无法占满整个空间。比如，我们考察所有自然人脸照片构成的数据集，每个采样点是一张图片，像素的个数乘以3就是原始图像空间的维数。原始图像空间中的任意一点，都是一幅图片，但是极少的图片才是人脸图片，才会落在人脸图片流形上，因此人脸图片流形不可能占满整个原始图像空间。人脸需要满足很多自然的生理学规律，每个规律都会降低数据流形的维数，例如左右对称，就减少了近一半的像素，都有五官等确定的几何与纹理区域，每个器官的形状类似，描述的参数不多，因此进一步降低维数。最终控制人脸的基因非常有限，由此人脸图片流形的维数远远低于图片像素个数。

再如，我们观察平面区域的稳恒态温度分布，由物理热扩散定理，稳定函数满足经典的Laplace方程，由其边界值所唯一确定。如果我们在区域内部有n平方个采样点，在区域边界有n个采样点，那么每个观察到的温度函数被表示为维数为n平方的向量，即原始数据空间维数为n平方，但是实际的流形维数为边界函数的维数n。由此可见，满足物理定律的观察样本构成的数据流形维数远远低于原始数据空间维数。

另外，在认知领域中，笔者认为可以比较自然的将上述数据流形扩展到认知流形范畴当中来，因为认知流形的表征亦是某种程度的数据概率分布形式，包括扩展到对世界自然运行规律的流形分布表征，包括物理的运动机制通过计算机视觉（CV）通过Sora进行的模拟、围棋等博弈类对弈通过RL进行决策、科学领域的问题探索或复杂的数学证明通过AI4S数据驱动范式进行复杂Pattern映射之推理，其背后均是某种流形的嵌入或表征，而这些物理的、逻辑的过程，又被人类认知行为所纳入和掌握。

关于第二个问题顾险峰教授给出的回答：绝大多数情形下，物理系统是适定的，但在临界状态下，物理系统会发生突变（由灾变理论或者临界态理论来描述）。物理定律多由偏微分方程系统来描述，微分方程的解由初始值和边界值来控制，系统是适定的，意味着由于能量守恒、质量守恒、能量传递小于光速等物理限制，初边值逐渐变化时，解也随之逐渐变化。在偏微分方程的正则性理论中，这意味着边值的索伯列夫范数控制解的索伯列夫范等等。我们将解视为数据流形上的点，边值视为其对应的局部坐标（即隐空间中的对应隐特征向量）。从数据流形到隐空间的映射被称为是编码映射，从隐空间到数据流形的映射被称为是解码映射。正则性理论保证编码映射和解码映射是连续的乃至光滑的，解的唯一性保证这些映射是拓扑同胚或者微分同胚。边值可以任意局部扰动，即隐变量存在一个开欧式圆盘的邻域。这意味着满足特定物理定则的观察样本构成了数据流形。

如Sora的训练集为短视频集，每个样本是一个短视频，同类的短视频构成一个数据流形。Sora将其编码到隐空间进行降维，然后在隐空间中将隐特征向量切割成补丁，加上时间顺序，构成时空补丁，亦即时空令牌（time-space token）。这里时空的概念是比较关键的，每个令牌在短视频的帧序列号（时间），在当前帧的行列序号（空间）都被记录在令牌里。

同时，在流形分布理论框架之下，我们也看到诸多在深度学习训练与推理方面的一些前沿探索和进展。如通过构建灵活的模型来表示概率分布是人工智能领域长期以来的目标。受到在不确定性下可靠决策的需求驱动，早期的努力方向是构建能够进行可处理概率推断的有效模型[Koller and Friedman, 2009]和算法[Chow and Liu, 1968; Welch et al.,1995]。近年来，已经开发了几种描述概率分布的可处理生成模型，这些模型以图的形式描述，如割集网络[Rahman et al., 2014]、算术电路[Darwiche, 2003]和和积网络[Poon and Domingos, 2011]。

对于一个可处理概率模型来说，个近似概率分布P(X)的生成模型θ在给定概率推理任务Q上是可处理的，其中Q = f(Pθ(X))，如果Q可以在模型大小的多项式时间内计算出来。因此，可处理性是由推理任务（或f的性质）和θ的性质共同决定的一个光谱。在现实生活中利用概率生成模型（Pθ(X)）做出决策通常需要查询模型，以推断底层分布的属性或提取由其随机变量定义的事件所关联的不确定性。如标准化流Normalizing Flows（NFs）所构成的一类深度生成模型，通过利用变量公式和可逆变换在连续空间上构建灵活的概率分布。

特别地，Choi等人[2020]将概率电路（PCs）引入为一个统一的概念，涵盖了这样的模型，这些模型以计算图的形式描述概率分布，如割集网络[Rahman等，2014]、算术电路[Darwiche，2003]和和积网络[Poon和Domingos，2011]。一些后续的工作展示了如何学习（部分）PCs[Gens和Pedro，2013；Peharz等，2016；Trapp等，2019]，并增加了它们的灵活性[Molina等，2018，2017]、可靠性[Deratani Mauá等，2018]以及可扩展性[Peharz等，2020b,a；Dang等，2022；Liu等，2023]。尽管可处理，但这些PCs仍然比深度生成神经模型（DGMs）如GANs[Goodfellow等，2014]、VAEs[Kingma和Welling，2014]和归一化流（NFs Normalizing Flows (NFs ）[Tabak和Turner，2013；Papamakarios等，2021]表达能力较弱。其中，NFs最近因其使用可逆函数而备受关注，这使得最大似然训练成为可能，从而产生了更稳定的模型，避免了深度生成模型的模式崩溃和梯度消失问题。尽管功能强大，但这些深度模型在执行诸如可处理模型PCs擅长的推理任务方面效率不高。

关于对LLM的“泛化”和“涌现”以及“流形”等相关概念有不清楚的读者，可以自行针对相关网页和论文文献开放性的搜索，网上会有非常多标准概念定义或丰富具象化的相关表述，或者也可以给作者留言，作者将会第一时间为读者反馈解释相关问题。

另外，在这里，作者认为上述所表述的“数据流形”和“认知流形”本质是一致的，均是对世界自然运行规律的一种表征，并将这种表征映射到人类的认知行为模式。