大模型生成内容靠谱吗？CRAAP测试告诉你

截至2025年1月，ChatGPT仍然可能会一本正经地提供不准确或虚构的信息。例如， 如果你向ChatGPT询问“林黛玉倒拔垂杨柳”和“林黛玉三打白骨精”，他会编造看似合理但实际上并不存在的解释，将《红楼梦》中的林黛玉与《水浒传》中的“倒拔垂杨柳”以及《西游记》中的“三打白骨精”错误地关联在一起。这种现象被称为“幻觉（Hallucination）”，即AI生成的内容虽然听起来可信，但实际上并不符合事实或现实。

大模型（如ChatGPT）的推理幻觉主要源自其生成连贯且与上下文相关文本的能力。当接收到提示或问题时，LLM能够生成看似逻辑严谨的响应。然而，这种能力并非基于真正的理解或推理，而是由其概率性质和对海量文本数据的训练所驱动。本质上，LLM通过学习数据中的模式和关联，预测给定上下文中最可能出现的下一个单词或短语。

随着大模型在各领域的广泛应用，**生成内容的质量、可靠性和适用性也成为了关注的焦点。**为了有效评估大模型生成内容的质量，我们可以借鉴一些传统的评估工具，如CRAAP测试和ASPECT评估法。这些方法有助于我们从多个维度审视大模型生成的文本，确保其内容的可信度和实际价值。

CRAAP测试：评估信息质量的重要工具

CRAAP测试（Currency, Relevance, Authority, Accuracy, Purpose）最初由加利福尼亚州奇科大学Meriam图书馆的Sarah Blakeslee提出，旨在帮助学生和学者评估信息的质量，尤其是在虚假新闻和信息泛滥的背景下。 这个评估工具适用于各种类型的信息，包括大模型生成的文本。

CRAAP测试评估表

CRAAP测试通过对这些维度的全面评估，能够帮助使用者判断大模型生成内容的可靠性和质量。 具体到大模型生成的文本，时效性和准确性是两个特别重要的因素。

CRAAP测试在大模型中的应用

对于ChatGPT讲述“林黛玉倒拔垂杨柳”故事，我们可以借助CRAAP测试进行分析。

1. 1. 时效性 (Currency)
   在这个案例中，ChatGPT生成的内容与时效性无关，因为它编造了一个虚构的情节，而不是基于权威解读。
2. 2. 相关性 (Relevance)
   用户询问的是与“林黛玉”相关的典故，而ChatGPT错误地将《水浒传》中的“倒拔垂杨柳”和《西游记》中的“三打白骨精”关联到林黛玉身上。虽然“林黛玉”是《红楼梦》中的经典角色，但“倒拔垂杨柳”和“三打白骨精”分别出自《水浒传》和《西游记》，与林黛玉毫无关系。ChatGPT生成的内容在相关性上存在误导性，错误地将不同文学作品中的情节关联到林黛玉身上。
3. 3. 权威性 (Authority)
   ChatGPT生成的内容缺乏权威性，因为它没有引用具体的文学或学术来源，而是基于其训练数据中的模式生成文本。由于ChatGPT无法区分真实与虚构的内容，其生成的信息可能缺乏可信度。对于需要权威支持的内容，用户应参考正式的文学研究、学术论文或权威出版物，而非依赖AI生成的内容。
4. 4. 准确性 (Accuracy)
   ChatGPT生成的内容在准确性上存在严重问题。它将《红楼梦》中的林黛玉与《水浒传》中的“倒拔垂杨柳”以及《西游记》中的“三打白骨精”错误地关联在一起。这种错误可能是由于训练数据中的模式混淆或缺乏对具体文学作品的深入理解。用户应对AI生成的内容进行事实核查，尤其是涉及经典文学作品的情节和角色时，应参考原著或权威解读。
5. 5. 目的性 (Purpose)
   ChatGPT生成内容的目的是为用户提供连贯、流畅的文本，而不是提供准确的事实或文学分析。由于AI的目标是生成看似合理的回答，它可能会为了满足用户的需求而编造信息，尤其是在用户提出的问题本身存在误导性或模糊性时。用户应明确AI生成内容的目的，理解其局限性，并在需要准确信息时结合其他可靠来源进行验证。

因此，在生成文本时，CRAAP测试可以帮助我们发现“幻觉”内容，并确保生成的内容符合正确的学术标准。

ASPECT评估：多维度信息质量评估方法

除了CRAAP测试，华盛顿州温哥华的克拉克学院图书馆提出的ASPECT评估方法也是一种有效的信息质量评估工具。ASPECT评估方法在CRAAP测试的基础上，加入了更多维度，特别是强调内容的均衡性和全面性，适用于综合性的学术研究。

ASPECT评估表

ASPECT与CRAAP的比较

CRAAP测试和ASPECT评估法分别从不同的维度出发，为我们提供了两种有效的信息质量评估工具。CRAAP测试简洁而直接，强调时效性、准确性和权威性，是快速评估大模型生成结果是否符合学术标准的重要方法。ASPECT评估法则提供了更多的维度，特别适用于需要评估信息多样性和全面性的学术研究环境。 两者可以互补使用，为我们更全面地评估大模型生成的内容质量提供有力支持。

对于大模型生成内容的使用者，掌握这两种评估工具，不仅能帮助我们识别虚假信息，还能在实际应用中提升大模型生成结果的可信度和价值。