“xFinder: Robust and Pinpoint Answer Extraction for Large Language Models”
对于大模型最擅长的生成式任务，传统的模型评估指标难以客观可靠对模型输出进行评估。
本文设计了一种新的评估方案，优化大模型在答案抽取当面的效果。基于此方案，训练了一个专门用于关键答案提取的模型xFinder，xFinder在真实场景中的评估表现出更强的鲁棒性和更高的准确性，平均答案提取准确率达到93.42%，并且模型只有5亿参数。
论文地址：https://arxiv.org/pdf/2405.11874
Github地址：https://github.com/IAAR-Shanghai/xFinder
摘要
本文讨论了大型语言模型（LLMs）评估中的公平性和可靠性问题，特别是测试集泄漏和提示格式过拟合等主观或非主观作弊现象。作者提出了一个专门用于关键答案提取的模型xFinder，并创建了一个专门的数据集KAF来确保有效的模型训练和评估。xFinder在真实场景中的评估表现出更强的鲁棒性和更高的准确性，最小的模型只有5亿个参数，平均答案提取准确率达到93.42%。优化关键答案提取模块可以提高提取准确性，减少LLMs对特定答案格式的依赖，并增强LLMs评估的可靠性。
简介
大型语言模型（LLMs）近年来取得了快速发展，研究人员为了探索不同LLMs的优势、弱点和差异，引入了多种评估基准来评估LLMs在各个维度上的性能。为了比较不同LLMs在这些基准上的表现，一些机构开发了统一的LLM评估框架，如LM Eval Harness和OpenCompass。然而，一些研究人员对当前LLM评估工作的公平性和可靠性提出了担忧。评估基准可能存在测试集中的数据污染和泄漏问题。此外，现有评估流程的各个阶段存在多个不可靠性。评估框架通常会对数据集进行转换，以实现在不同任务上的统一评估。然而，已经证明，在某些任务中，使用带有字母选项的多项选择题形式进行评估的结果可能与开放式设置下的结果不同。不同机构在评估LLMs时可能采用不同的配置和提示，LLMs对这些设置非常敏感，即使是微小的修改也可能显著改变模型的响应，从而影响评估结果的公平性。此外，虽然使用一致的提示可以确保一定程度的公平性，但统一的提示可能不适用于所有LLMs，可能与评估模型固有能力的初衷相矛盾。
当前的LLM评估框架主要依赖于正则表达式(RegEx)来提取模型输出中的答案，但许多LLM无法生成标准化的答案，这使得从它们的输出中提取关键答案变得复杂。现有的评估方法仍存在许多不足之处，因此提出了一种新的评估组件xFinder，它可以更准确、更高效地评估LLM的输出。xFinder的核心是构建一个大规模的LLM响应评估数据集，并提出一个基于该数据集的高精度、低参数模型作为评估器，以取代现有的基于RegEx的答案评估方法。
xFinder为关键答案提取而设计，使用Key Answer Finder(KAF)数据集进行训练，并在测试集和泛化集上进行了测试，结果表明xFinder在提取答案方面表现良好。作者还发现现有框架中基于正则表达式的关键答案提取组件经常无法正确提取答案。作者的研究为LLM评估过程提供了全面的回顾，并提出了可靠的评估方法。
相关工作
LLM的能力评估可以分为知识和能力评估、垂直领域评估以及对齐和安全评估。在评估数据集中，问题类型可以分为客观问题和主观问题。客观问题的评估常用的指标是准确率和F1分数，而主观问题的评估则需要更复杂的方法。目前存在许多流行的统一LLM评估框架，包括LM Eval Harness、OpenCompass、OpenAI Evals和UltraEval。这些框架在使用客观问题数据集进行评估时，通常会进行数据转换，并使用正则表达式方法提取和匹配关键答案。然而，这些方法在评估客观问题时存在一些缺点。最近的研究越来越关注使用LLM进行评估的微调方法，但这些方法也存在一些缺点。可靠评估的概念旨在更科学地评估LLM生成的内容的真实性和对信息系统的潜在风险，但目前对可靠评估的研究和改进工作还不够系统。
问题定义
现有方法旨在使评估模型的评分与人类期望评分保持一致，由于评分是主观的，不像客观判断正确，这些方法更适合于文本翻译和摘要等开放式任务。相反，我们的方法旨在使xFinder从LLM输出中提取的关键答案与人类期望的关键答案保持一致。从根本上说，这种方法更适合于具有确定性答案的任务，如选择题和数学问题。我们将关键答案提取任务定义如下:
设D表示由三组元素组成的评估数据集：一个问题、一组选项和正确答案。q表示问题，C表示选项集，a表示正确答案。设Σ为所有令牌的集合，P为幂集。将D中的每个数据点(q, C, a)输入LLM，产生输出y：
如果y中的一个唯一的子字符串可以被识别为三种类型(直接、提示包装或转换问题包装)之一，则该子字符串被认为是关键答案句s。这三种类型及其对应的集合的定义如下：
直接。这是指s直接提供最终答案。τ: Σ∗→P(Σ∗)表示同义词转换的函数。
提示包装。这是指s由相关提示和最终答案组成。子集F∧P(Σ*)表示指向答案的提示符集合，其中占位符<最终答案>表示最终答案的位置。表达式s◦f表示将f中的<最终答案>标记替换为s而形成的新句子。
转换问题包装。这是指s由转换成陈述性陈述的原始问题q和最终答案组成。函数ζ:Σ∗→Σ∗表示语句转换函数，该函数将q转换为声明形式并标识占位符的位置。
当多个子字符串满足条件时，有必要确定y中是否存在一个思想链(CoT)过程。如果y中存在一个CoT过程，则定义s为满足条件的唯一子字符串，并且出现在y中的CoT过程之后。如果不存在CoT过程，则y中不存在s。
关键答案k的定义分为两种场景：
如果s不存在，则k设为[No valid answer];
如果s存在，则k是集合C中最符合s描述的选项；
方法
为了有效地微调xFinder，本文构建了一个高质量的数据集，该数据集包括问题、可选答案范围、LLM响应和提取的关键答案。数据集分为训练集、测试集和泛化集，用于微调、测试和评估 xFinder 的性能。
LLM响应生成
KAF数据集包含18个典型的评估任务，分为四种类型，包括字母选项任务、短文本选项任务、分类标签任务和数学选项任务。为了增强数据集的异质性和丰富性，作者设计了八种提示配置来引导语言模型生成多样化的响应。为了捕捉不同系列和大小的语言模型的不同推理过程，作者使用了10个不同的语言模型。需要注意的是，KAF数据集的训练和测试集由10个语言模型在8个评估任务上生成的问题-响应对组成，而通用化评估集中的问题-响应对则来自8个语言模型在11个全新的评估任务上的响应。
自动标注和人类检查
构建KAF数据集的基础是从LLM响应y中提取关键答案k，并将其用作标签。我们为训练集、测试集和泛化集采用了不同的标注策略。对于训练集，为了提高标注过程的效率，采用了半自动化的方法。包括使用不同的提示F.2从GPT-4生成两组标注。利用自一致性策略，将两轮标注之间存在差异的项目以及所有数学问题整合到Label Studio中进行手动重新标注。为了确保测试集和泛化集的有效性和可靠性，所有标签都需要准确，因此这些数据集需要进行两轮手动标注。
xFinder训练
我们对xFinder进行微调，以精确地在y中定位s，并从s中准确地提取k。xFinder的训练输入包括问题q、LLM响应y、关键答案类型和答案范围，而输出是关键答案k。
在训练过程中，我们主要利用了InternLM团队开发的XTuner工具进行微调。为了充分利用xFinder的指令遵循潜力，我们精心制作了提示。此外，为了增强xFinder的泛化能力，我们对KAF训练集进行了数据增强，包括：
1）模拟LLM对字母选项问题的回答。我们从KAF训练集中随机选择50%的字母选项问题，并通过增加一个或两个选项或以等概率删除一个选项来改变他们的答案选择。
2）丰富提示包装关键回答句中提示形式的多样性。从包含包装关键答案句子的KAF训练集中的LLM响应中，我们提取了10%并将f替换为f中的其他元素，例如将“最终答案是A”替换为“基于问题的上下文，A是最有可能的答案”。
实验
使用19个参数大小从0.5B到8B的LLMs在KAF训练集上进行微调，并使用RegEx方法比较它们在KAF测试集和泛化集上提取关键答案的准确性。随后，使用xFinder-qwen1505、xFinder-llama38it和当前主流评估框架，评估了10个LLMs在14个评估任务数据集上的性能，并分析了评估结果的差异。
答案提取准确率：xFinder vs. RegEx
使用QLoRA方法从XTuner框架中的基础模型进行微调，通过KAF测试集评估了xFinder的效果。xFinder模型在KAF训练集上表现出很高的效果，参数大小的差异并不会对提取准确率产生显著影响。在KAF泛化集上，xFinder仍然保持着很高的提取准确率，而主流的正则表达式提取器表现较差，尤其是在数学问题的关键答案提取上。即使是GPT-4在复杂和多样化的LLM响应中也难以准确提取关键答案。
真实使用场景评估
在真实评估任务中使用xFinder进行自动评估，并对现有评估框架的可靠性进行了研究，发现不同框架得出的模型排名存在显著差异，表明现有评估框架的可靠性存在问题。xFinder模型在稳定性和准确性方面表现优异，相比现有框架具有更高的可靠性。作者还提出了现有评估框架中将问题转换为字母选项的可靠性存在问题，建议减少对此格式的依赖。
限制
xFinder是一个表现良好的关键答案提取组件，但其最小模型的参数量仍较大，可能会增加部署成本。未来，xFinder将探索模型压缩技术，以支持更小的版本，进一步提高其灵活性。
总结
本文分析了现有LLM评估框架中可能导致不可靠评估结果的关键因素，强调了LLM响应中的关键答案提取模块作为一个薄弱点。为了解决这个问题，我们引入了一个专门用于提取LLM响应中关键答案的关键答案提取模型xFinder。广泛的实验结果表明，与现有基于正则表达式的关键答案提取方法相比，xFinder能够更准确、更高效地从LLM输出中提取关键答案，从而提高评估的可靠性。这项研究标志着构建可靠评估框架的第一步。将来，我们将继续解决LLM可靠评估中的其他关键问题，为准确评估LLM性能提供基础。
