清华首测 Llama 3：史上最强开源模型到底怎么样？

Meta的开源大语言模型Llama 3一经发布，便引爆了AI圈，号称“迄今为止最好的开源大模型”，Llama 3本次开源了70B和8B两个小参数模型，同时官方发布了在多项基准测试中的评测结果，其结果显示，Llama 3在同类模型中表现优异。

那么问题来了，Llama 3自己评测的结果是否客观？除了国外的主流开源和闭源模型之外，Llama 3对比国内主流模型，实际表现又如何？

近日，SuperBench团队在前不久发布的《SuperBench大模型综合能力评测报告》基础上加测了Llama 3新发布的两个模型，测试了Llama 3在语义（ExtremeGLUE）、代码（NaturalCodeBench）、对齐（AlignBench）、智能体（AgentBench）和安全（SafetyBench）五个评测集中的表现，具体情况如下：

1. 我们在上次评测的14个模型基础上新增了Llama 3的70B和8B两个模型，对于闭源模型，我们选取API和网页两种调用模式中得分较高的一种进行评测。

2. 根据我们的评测结果，可以得出以下主要结论：

• Llama 3-70B版本在各个评测集上均差于GPT-4系列模型以及Claude-3 Opus等国际一流模型，在语义、代码两项评测中距离榜首差距最大，智能体评测中表现最好，排名第5；但考虑到模型参数量的差异，Llama 3-70B整体表现还是不错的。

• 和国内大模型对比，Llama 3-70B在五项评测中超过了大多数国内模型，只落败于GLM-4和文心一言。

*说明：SuperBench以中文能力评价为主

1

评测结果

PART/1 语义评测

整体表现：

在语义理解能力评测中，Llama 3-70B排名第6，落后Claude-3、GPT-4系列模型以及国内大模型GLM-4和文心一言4.0，距离榜首Claude-3仍有一定差距（相差8.7分），但是领先国内其他模型，整体处于第二梯队的榜首位置。

分类表现：

在代码编写能力评测中，Llama 3-70B排名第7，得37.1分，差于GPT-4系列模型和Claude-3等国际一流模型，以及GLM-4、文心一言4.0和讯飞星火3.5等国内模型；和GPT-4 Turbo差距较大，分差达到了13.7分。值得一提的是，Llama 3-8B的代码通过率超过了KimiChat网页版、云雀大模型等国内大模型。

分类表现：

Llama 3-70B在代码编写能力的分类评测中均表现一般，排名6-8位，和GPT-4系列模型以及Claude-3有较大差距，其中在英文代码指令-python评测中，Llama 3-70B和榜首的GPT-4 Turbo差距更是达到了20.3分；另外从本次评测中来看，Llama 3-70B并未表现出明显的中英文差距。

PART/3 中文对齐评测

整体表现：

在人类对齐能力评测中，Llama 3-70B排名第7，依然差于GPT-4系列模型和Claude-3；国内模型中，除文心一言4.0和GLM-4之外，通义千问2.1也在对齐评测中略超过Llama 3-70B；但是Llama 3-70B和排在前面的各家模型差距不大，距离榜首的GPT-4网页版仅有0.35分差距。

分类表现：

PART/4 智能体评测

Llama 3-70B在数据库（DB）、知识图谱（KG）、网上购物（Webshop）三个评测项中均进入了top3，但是距离榜首仍有一定差距；在操作系统（OS）、网页浏览（M2W）中也表现不错 ，排名第4和第5；情境猜谜（LTP）表现得0.5分，表现相对最差。

PART/5 安全评测

整体表现：

Llama 3-70B在安全能力的各分类评测中，偏见歧视（UB）在横向对比中表现相对最好，排名第4，其他评测排名在第7位及以后，但是和排在前面的模型分差不大，心理健康（MH）、隐私财产（PP）、身体健康（PH）均和榜首差距在3分之内。

SuperBench官网：

https://fm.ai.tsinghua.edu.cn/superbench/#/

SuperBench以往推送：

1. SuperBench大模型综合能力评测报告 

2. 2024年，如何避免「国内百模，家家第一」乱象