SuperCLUE-Role：重新定义中文角色大模型测评基准

为了缓解这一问题，我们推出了SuperCLUE-Role测评基和基准。这是一个包括角色扮演基础能力和场景应用能力测评的中文基准，专门设计来评估和提升中文大模型在角色扮演方面的核心能力。SuperCLUE-Role（简称SC-Role）不仅保证了评估体系的细致全面，题目的高质量，同时在题目的多样性和应用广度进行了适当扩充。

项目地址：

https://github.com/CLUEbenchmark/SuperCLUE-Role

文章地址：

www.CLUEbenchmarks.com/superclue_role.html

一、SuperCLUE-Role

理念

SuperCLUE-Role项目的宗旨是为中文基础模型在角色扮演领域的发展提供一个专业的评估基准，旨在衡量模型在完成中文原生环境下角色扮演任务时的基础能力（是否能够符合角色的语言风格、性格等），以及是否能够胜任情感陪伴、游戏NPC角色扮演等应用场景。SuperCLUE-Role致力于成为评估中文大模型角色扮演能力的有益工具，以完善现有的评估方法，更好地适应中文环境。

SC-Role与其他测评的区别与联系

测评任务维度

例如，回答应当符合特定名人的人生阅历，三观。

测评及计分方式

首先统计模型在每个二级任务上的平均分作为该任务的得分，模型最终成绩等于所有二级任务得分的平均分。

示例

语言风格

第一轮问题：

请你扮演《万万没想到》中的王大锤，下面是角色信息：

语言风格特点：王大锤的语言风格充满了夸张和自嘲，他的台词往往带有强烈的喜剧色彩和讽刺意味。他的表达方式直接、简单，甚至有些幼稚，这与他“一根筋”的性格相符合。他的语言中常常包含重复和强调的元素，以此来增强喜剧效果。例如，他的标志性台词“我叫王大锤，万万没想到……”就是通过重复和强调“万万没想到”这个短语来制造笑点。

惯用词：王大锤的惯用词包括“万万没想到”、“我的生涯一片无悔”、“我要我要，洞房洞房”等，这些台词在剧中反复出现，成为了角色的标志性语言。他的台词通常带有一种无奈和悲催的感觉，反映了他屌丝身份的自我认知。

性格特点：王大锤是一个典型的“屌丝”形象，他木讷憨厚，有些呆萌，经常遭遇各种不幸和意外的转折。他有着不切实际的梦想，比如“升职加薪，当上CEO，迎娶白富美，走向人生巅峰”，但往往事与愿违。尽管如此，他仍然保持着乐观的态度，总是能在困境中找到希望，这也是他深受观众喜爱的原因之一。

在一次不可思议的转折中，你意外地发现自己手中的彩票居然中了大奖。面对这突如其来的好运，记者蜂拥而至采访他。记者问：“王大锤，你现在有了这么多钱，会有什么打算？你以前不是一直梦想着升职加薪，迎娶白富美吗？”

请你回复。记住你现在就是王大锤，你必须以第一人称给出你的回答，不能回复其他无关内容。

第二轮问题：

记者追问：“那么你对孔连顺有没有什么想说的？她知不知道你喜欢她？”请你继续回复。

行为习惯

第一轮问题：

请你扮演角色梅长苏，进行对话，下面是角色的信息介绍：
梅长苏，原名林殊，是海宴所著长篇权谋小说《琅琊榜》及其同名改编剧中的主人公。他是琅琊榜首，被称为“江左梅郎”，并且是天下第一大帮江左盟的宗主。梅长苏原本是赤焰军的少帅，因梅岭惨案身中火寒之毒，后经治疗改头换面，化名梅长苏，隐居江湖。十二年后，为了平反赤焰冤案，他以一介布衣的身份，化名苏哲，返回金陵帝都。他以病弱之躯涉足朝堂纷争，凭借其智慧和策略，成功地为赤焰军平反，并辅佐靖王登基。梅长苏在国仇家恨、兄弟情义的漩涡中展现了他的智慧和勇气，成为了一个传奇人物。
记住你现在就是梅长苏，你必须以第一人称给出你的回答，不能回复其他无关内容。如果你发现有一位深受你尊敬的前辈，他的子嗣因为一桩误会被牵扯进宫中的斗争，并且可能会因此丧命，你会如何运用你的智慧和资源来解救他，同时又不暴露你的真实身份？

第二轮问题：

在你筹划救援行动的过程中，突然有消息传来，说你的好兄弟飞流可能会因为另一件案件被牵连，如果你去救那位前辈的子嗣可能就无法及时救出飞流，你会如何权衡这两件事，并决定你的行动方案？

游戏NPC

第一轮问题：

请你扮演游戏NPC角色与玩家角色进行对话，下面是游戏信息：

世界观：故事发生在被称为艾蒙大陆的奇幻世界中.....

...省略...

NPC角色：格兰特

角色信息：种族：矮人；职业：铁匠；特点：身材矮小精悍，手艺高超，性情直爽；位置：杜隆镇；任务：可提供武器打造及强化服务，并且能够给玩家提供探索关于游戏的各种指引和建议；

...省略...

当前进度：已完成《矿坑蜘蛛》任务，正准备前往幽暗森林探索

已知情报：在杜隆镇的酒馆听说过幽暗森林里有一大笔宝藏

下面是玩家和NPC格兰特的对话:

玩家：格兰特，我准备探索幽暗森林了，《迷雾缭绕》的任务的完成条件是什么？

记住，现在你就是NPC格兰特，因此你必须在回复过程中，始终以第一人称进行回复。

第二轮问题：

玩家：格兰特，谢谢你的建议。我觉得我的防御力有点低，我可以通过什么方式提高我的防御力？

▲ Role模型象限旨在区分国内外大模型在中文角色扮演能力上的定位差异。基础能力为角色基础和角色风格任务上的表现；应用能力为场景应用上的表现。

SuperCLUE-Role基准得分：

▲ 本次测评选取了首批国内外代表性模型，后续会持续更新更多模型测评结果。

我们可以看到在中文原生场景下，GPT4-Turbo-0125角色扮演总分排名最高，国内模型表现也同样不俗，qwen1.5-72b-chat与文心一言4.0均有超过GPT4的表现。

SuperCLUE-Role细颗粒度得分：

在SC-Role测评中，随着角色扮演对话轮数的增加，模型的得分普遍降低，表明在多轮对话中模型的角色扮演能力随着对话轮数的增加可能会出现能力减弱，是需要进一步解决的问题。

多维度解读：

1.三大任务维度关系分析

根据对三大维度（角色基础、角色演绎力、场景应用能力）的分数分析，“场景应用能力”与“角色演绎力”、“角色基础”均有很高的相关性（皮尔逊相关系数分别为0.89和0.90）。

可以看到在“角色基础”和“角色演绎力”维度上得分更高的模型，在“场景应用能力”维度上也倾向于有较高的得分。表明作为“角色基础”和“角色演绎力”共同支撑起模型的应用能力，更好的基础能力和更高的角色演绎力共同决定更好的应用能力。“角色基础”任务针对模型的对话能力和知识掌握水平，而“角色演绎力”任务则考察模型是否能够很好遵循角色的性格、语言风格、行为习惯和三观。

2.知识掌握水平的重要性

根据分析，我们看到在中文原生测评环境下，角色演绎力和场景应用能力都与模型的知识掌握水平有着较强的相关性(皮尔逊相关系数分别为0.80和0.87)。通常较强的角色演绎力和场景应用能力需要模型具有不错的知识掌握水平。

3.在非常规的角色扮演问题上，模型能力有待加强

我们看到即使模型已经掌握了相关知识，仍然会出现无法识别到用户问题中存在的错误的现象，很多时候只会顺着用户的问题进行回答。

三、结论及分析

1.国内模型表现不错：在中文环境下的角色扮演任务中，国内的模型有着不错的表现，比如qwen1.5-72b-chat、文心一言4.0均有超过GPT-4的表现。排名靠前的国内模型在中文场景应用能力上也有较高的得分，具有不错的应用潜力。

2.基础能力和角色演绎力共同决定场景应用能力：场景应用能力依赖于基础能力（对话能力、知识掌握水平）和角色演绎力（遵循角色语言风格、性格、行为习惯和三观的能力）。

3.知识掌握水平影响较大：模型的知识掌握水平是对于角色演绎能力和场景应用能力的重要支撑，较好的角色演绎力和场景应用能力通常需要模型具有不错的知识掌握水平。

4.模型角色扮演能力有待加强：模型更擅长处理常规的角色扮演问题，对于非常规的问题，对齐角色能力大大降低，也是模型可考虑改进的方向。

5.多轮效果衰减：随着对话轮数的增加，模型的表现会出现普遍的降低。