随着生成性大型语言模型（LLMs）的快速发展，评估这些模型生成的文本质量，尤其是在开放式文本生成方面，一直是一个挑战。传统的手动评估方法耗时且成本高昂，而自动化评估方法如BLEU、Rouge和METEOR在开放式文本评估中存在局限性。最近的研究开始探索使用LLMs作为评估智能体，但这种方法存在不确定性和不稳定性。
为了解决这些问题，提出了MATEval框架，一个多智能体文本评估框架，旨在模拟人类协作讨论方法，通过多个智能体的交互来评估文本。
Multi-Agent文本评估框架
MATEval框架关键组成部分：
评估智能体（Evaluator Agent）：这是框架中的主要评估实体，负责进行多轮的文本评估。评估智能体通过设计好的提示（prompts）引导，存储和处理来自其他智能体的陈述，并以此为参考进行对话历史记录。
反馈智能体（Feedback Agent）：反馈智能体在每轮讨论后评估讨论的内容和质量，专注于识别低效的对话和分歧，并提出改进建议，以提高后续讨论的效率和共识。
总结智能体（Summarizer Agent）：在所有讨论结束后，总结智能体负责整理整个讨论过程和结果，提供详细的评估报告，包括错误类型、具体位置、解释和得分。
自我反思（Self-reflection）：在每轮讨论中，智能体会进行自我反思，考虑同伴的输入来丰富对问题的理解，并调整自己的陈述。
思维链（Chain-of-Thought, CoT）策略：通过提示引导智能体自主分解问题，并在每轮讨论中只关注一个子问题，从而深入分析文本。
反馈机制：在每轮讨论结束时，反馈机制通过提示引导反馈智能体总结和评估讨论，指导后续讨论减少重复，提高效率，并引导参与者达成共识。
输出格式：MATEval框架提供两种格式的评估报告：一种是基于问答（Q&A）的格式，便于计算相似度和相关性分数；另一种是文本报告格式，便于业务人员快速理解和迭代模型。
使用不同模型和MATEval不同策略在LOT/Ant数据集上评估结果与人类判断的相关性。最高相关性值以粗体显示。
MATEval: A Multi-Agent Discussion Framework for Advancing Open-Ended Text Evaluationhttps://arxiv.org/pdf/2403.19305.pdf
