天下苦OpenAI久矣。2023年3月14日，OpenAI高调发布了令所有人眼前一亮的AI模型GPT-4。GPT-4模型出道即巅峰，这也造就了我在《关于OpenAI和ChatGPT，你不知道的5组数据！》一文中提到的几个重磅数据，ChatGPT发布5天用户数就突破了100万；两个月用户数突破1亿；OpenAI年化营收半年内翻倍至34亿美元（约246亿人民币）。然而，一年多过去了，除了在GPT-4基础上更新了几个版本（包括2024年5月13日发布的GPT-4o），无数人心目中期盼的GPT-5模型迟迟没能发布。甚至连吊足了胃口的文本转视频模型Sora和GPT-4o的实时语音对话功能也是一“鸽”再“鸽”。
然而，在这个强敌环伺的AI领域，OpenAI的竞争对手可不会原地踏步，Anthropic就是其中最具代表性的强有力的对手之一。先是在2024年3月14日，Anthropic推出了在真正意义上足以和GPT-4模型抗衡的Claude 3系列模型。其次，在短短3个多月后的今天（6月20日），Anthropic再次重磅发布了Claude 3的升级版模型：Claude 3.5 Sonnet！
关于Claude 3.5 Sonnet
在开始解读Claude 3.5 Sonnet模型前，有必要先讲一下Claude 3系列模型。Claude 3模型是一个系列的统称，共分为三个版本：Claude 3 Haiku、Claude 3 Sonnet和最为出名的Claude 3 Opus。这三个AI模型的“智商”依次递增，但成本也依次递增，其中Claude 3 Opus模型在发布不久后就超越GPT-4登顶了LMSYS Leaderboard大模型排行榜。
Anthropic今天发布的Claude 3.5 Sonnet就是Claude 3 Sonnet模型的一个升级版本。据Anthropic官方表示，这是即将面世的Claude 3.5系列模型的首发之作。
Claude 3.5 Sonnet raises the industry bar for intelligence, outperforming competitor models and Claude 3 Opus on a wide range of evaluations, with the speed and cost of our mid-tier model, Claude 3 Sonnet.
Anthropic是这样描述Claude 3 Sonnet的“智商”（能力）的。行业标杆，超越竞争对手和Claude 3 Opus，保持了中档模型的响应速度和成本，这几个关键词简直把科技爱好者们的期待感拉满了。尽管Anthropic官方并没有明确表示超越了哪个竞争对手，但大家心里应该都清楚，“此时无声胜有声”。
AI模型“智商”的新标杆和翻倍的速度
以下是Claude 3.5 Sonnet在各项AI模型基准测试中的表现，以及与其他竞争对手模型的对比，包括：Claude 3 Opus、OpenAI的GPT-4o、谷歌的Gemini 1.5 Pro以及Meta的Llama-400b，这些模型都是目前这几家竞争对手公司的当家模型。
总结来看，Claude 3.5 Sonnet在各项测试中表现出色，尤其在研究生水平推理、本科水平知识掌握、编程能力和多语言数学等方面，均超越了前代模型和竞争对手，可以说是稳稳地打败了其他对比模型。仅在数学问题解决这一项测评中的结果略低于GPT-4o，其他测评的表现可谓是相当亮眼。
并且，Anthropic官方表示，Claude 3.5 Sonnet在把握细微差别、幽默感和复杂指令方面都有明显进步，在以自然、亲切的语气撰写高质量内容方面也很出色。
响应速度方面，Claude 3.5 Sonnet的速度是Claude 3 Opus的两倍。这种性能提升，加上具有成本效益的定价，使得Claude 3.5 Sonnet非常适合用于复杂任务，比如情景敏感的客户支持和多步骤工作流（multi-step workflow）的编排。响应速度这一点可以看作是对GPT-4o模型的一个回应，因为GPT-4o模型的一大特点也同样是极快的响应速度——GPT-4o的速度同样是GPT-4 Turbo模型的两倍。
详细解读
1. 研究生水平推理（GPQA, Diamond）这个测试用来评估模型在研究生水平上的推理能力。Claude 3.5 Sonnet在零样本推理（0-shot CoT）中取得了59.4%的成绩，而Claude 3 Opus的成绩是50.4%，GPT-4o的成绩是53.6%。
2. 本科水平知识（MMLU）MMLU测试评估模型在本科水平上的知识掌握情况。Claude 3.5 Sonnet在五次样本测试中取得了88.7%的高分，在零样本推理中也达到了88.3%，明显优于Claude 3 Opus的85.7%，与GPT-4o的88.7%基本持平。
3. 编程能力（HumanEval）这个测试衡量模型解决编程问题的能力。Claude 3.5 Sonnet在零样本情况下解决了92.0%的问题，优于Claude 3 Opus的84.9%和GPT-4o的90.2%。
4. 多语言数学（MGSM）MGSM测试模型在多种语言环境下解决数学问题的能力。Claude 3.5 Sonnet在零样本推理中取得了91.6%的成绩，略高于Claude 3 Opus的90.7%和GPT-4o的90.5%。
5. 文本推理（DROP, F1 score）这个测试用来评估模型在文本推理任务中的表现。Claude 3.5 Sonnet在三次样本测试中取得了87.1%的高分，超过了Claude 3 Opus的83.1%和GPT-4o的83.4%。
6. 综合评估（BIG-Bench-Hard）BIG-Bench-Hard是一个综合评估模型在多个领域能力的测试。Claude 3.5 Sonnet在三次样本推理中达到了93.1%的成绩，远超Claude 3 Opus的86.8%。
7. 数学问题解决（MATH）这个测试评估模型解决数学问题的能力。Claude 3.5 Sonnet在零样本推理中取得了71.1%的成绩，优于Claude 3 Opus的60.1%，但略低于GPT-4o的76.6%。
8. 小学数学（GSM8K）GSM8K测试模型在小学数学问题上的表现。Claude 3.5 Sonnet在零样本推理中取得了96.4%的成绩，略高于Claude 3 Opus的95.0%。
强大的多模态能力
多模态能力是另一个AI模型的“兵家必争之地”，它能够直接体现一个AI模型对于除文字以外的内容（如文档、图片、语音等）的理解能力。而优秀的理解能力是好的执行和输出的前提条件，所以多模态能力对于模型来说是至关重要的一环。
Claude 3.5 Sonnet是Claude家族迄今为止最强大的视觉模型（vision model），在标准视觉基准测试中超越了Claude 3 Opus。这些显著的改进在需要视觉推理的任务中尤为明显，比如解释图表和图形。Claude 3.5 Sonnet还能准确地从不完美的图像中转录文本，这在零售、物流和金融服务等领域尤为重要，因为在这些领域，AI从图像、图形或插图中获得的信息往往比从文本中更多。
从标准化的视觉基准测试中可以看到，Claude 3.5 Sonnet在多个视觉任务的测试中表现出色，尤其在视觉数学推理、科学图表理解和图表问答等方面，均超越了前代模型和部分竞争对手。
详细解读
1. 视觉数学推理（Visual math reasoning, MathVista）这个测试用来评估模型在视觉数学推理上的能力。Claude 3.5 Sonnet在零样本推理（0-shot CoT）中取得了67.7%的成绩，显著优于Claude 3 Opus的50.5%和Gemini 1.5 Pro的63.9%。
2. 科学图表（Science diagrams, AI2D）AI2D测试评估模型对科学图表的理解和解释能力。Claude 3.5 Sonnet在零样本情况下取得了94.7%的高分，超过了Claude 3 Opus的88.1%和GPT-4o的94.2%。
3. 视觉问答（Visual question answering, MMMU）这个测试用来评估模型在视觉问答任务中的表现。Claude 3.5 Sonnet在零样本推理中达到了68.3%的成绩，优于Claude 3 Opus的59.4%和Gemini 1.5 Pro的62.2%。略低于GPT-4o的69.1%。
4. 图表问答（Chart Q&A, Relaxed accuracy）这个测试评估模型在解释和回答图表问题上的能力。Claude 3.5 Sonnet在零样本推理中取得了90.8%的成绩，超过了Claude 3 Opus的80.8%和GPT-4o的85.7%。
5. 文档视觉问答（Document visual Q&A, ANLS score）ANLS测试评估模型在处理文档视觉问答任务中的表现。Claude 3.5 Sonnet在零样本情况下取得了95.2%的高分，显著高于Claude 3 Opus的89.3%和Gemini 1.5 Pro的93.1%。
Artifacts——使用Claude的新方式
除了Claude 3.5 Sonnet的发布，Anthropic在Claude AI平台上推出了一项新功能——Artifacts，这个新功能扩展了用户与Claude互动的方式。当用户请求Claude生成内容如代码片段、文本文档或网站设计时，这些Artifacts（中文可译为：成果、生成物）会在对话窗口旁的专用窗口中显示。这样创建了一个动态的工作空间，用户可以实时查看、编辑和构建Claude的创作内容，轻松将AI生成的内容整合到他们的项目和工作流程中。
从更深层次的角度来看，Artifacts这一预览功能标志着Claude从对话型AI向协作工作环境的演变。Anthropic官方表示这只是Claude更广阔愿景的一个开始，不久之后将扩展到支持团队协作。在不久的将来，团队乃至整个组织将能够安全地将他们的知识、文档和正在进行的工作集中到一个共享空间，而Claude则作为随叫随到的团队伙伴，为他们提供支持。(不得不说，Claude这个饼画的还是挺大的。OpenAI和Anthropic都在努力争夺企业端的客户。)
如何使用Claude 3.5 Sonnet
接下来聊一聊小伙伴们比较关心的如何使用最新的Claude 3.5 Sonnet模型及其API价格。
免费使用：
在Claude.ai上免费使用 在Claude iOS app免费使用 高级订阅：
Claude Pro和团队计划订阅用户可享受更高的使用速率限制Claude API访问：
可通过Anthropic API使用 可通过Amazon Bedrock使用 可通过Google Cloud的Vertex AI使用 Claude 3.5 SonnetAPI价格：每百万输入tokens 3美元 每百万输出tokens 15美元 支持200K tokens的上下文窗口
值得一提的是，Claude 3.5 SonnetAPI的这个价格仅仅是Claude 3 OpusAPI的五分之一！
即将推出
Anthropic官方表示将会不断优化“智商”、速度和成本之间的平衡。作为Claude 3.5系列模型的补充，将在今年晚些时候发布Claude 3.5 Haiku和Claude 3.5 Opus模型。
除了开发新一代模型，Anthropic还正在构建新的模式和功能，以支持更广泛的应用案例，比如Memory等新功能，这将赋予Claude记忆用户偏好和交互历史的能力，从而提供更加个性化和高效率的用户体验。（这一点ChatGPT已经基本实现了，Claude加油。）
Claude 3.5 Sonnet邮件通知全文
