开源模型

阿里发布Qwen2.5-Turbo，支持100万Tokens上下文！

2024 年 11 月 21 日

阿里巴巴重磅发布了Qwen2.5-Turbo 版本。

为了满足用户和开发者的需求，阿里在Qwen2.5-Turbo 版本，将上下文从之前的128K扩展至100万tokens，相当于大约100万个英文单词或150万个汉字，足以涵盖10部长篇小说、150小时的演讲稿或3万行代码，使得模型的整体理解、生成能力获得大幅度提升。

在线demo：https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo

这种百万级上下文能力，使Qwen2.5-Turbo在处理复杂长文本任务时表现出色，例如，在大海捞针任务中，能够完美捕捉所有隐藏的数字，显示出在超长上下文中捕捉细节信息的强大能力。

Qwen2.5-Turbo还通过采用稀疏注意力机制，显著提高了推理速度，将生成首个token的时间从4.9分钟减少到了68秒，实现了4.3倍的加速，这意味着在实际应用中，能更快地响应用户的请求。

以理解长篇小说为例，Qwen2.5-Turbo能够处理包含690k tokens的三部《三体》系列小说，并提供英文的剧情摘要，这展示了它在深度理解长文本和跨语言摘要方面的强大能力。

尽管处理能力大幅提升，Qwen2.5-Turbo的价格却保持不变，为0.3元/1M tokens，用户可以以相同的成本处理更多的tokens，即3.6倍于GPT-4o-mini的tokens数量。

在扩展上下文长度的同时，Qwen2.5-Turbo几乎不影响短文本任务的能力，在短文本基准测试中，它在大多数任务上显著超越了之前上下文长度为1M tokens的开源模型，并且与GPT-4o-mini和Qwen2.5-14B-Instruct模型相比，在短文本任务性能接近的同时，支持8倍长度的上下文。

目前，Qwen2.5-Turbo主要通过API来使用，方式、标准和Qwen API相同，并兼容OpenAI的API。

获取API Key：首先，您需要在阿里云大模型服务平台注册并获取您的API Key。这个密钥是调用Qwen 2.5 Turbo API所必需的认证信息。

API地址：https://help.aliyun.com/zh/model-studio/developer-reference/what-is-qwen-llm

安装依赖：如果打算在Python环境中使用Qwen 2.5 Turbo，需要先安装OpenAI库。可以通过运行pip install openai命令来完成安装。

接下来，我们将通过一个简单的Python脚本示例来展示如何使用Qwen 2.5 Turbo的API。这个例子中，我们将读取一个包含长文本的文件，然后请求Qwen 2.5 Turbo对该文本进行总结。

当上述代码执行完毕后，completion.choices[0].message.content将包含Qwen 2.5 Turbo生成的文本摘要。

三大注意事项

API Key安全：请确保您的API Key不会泄露给第三方，避免未经授权的使用。

请求频率限制：根据阿里云平台的规定，可能存在一定的请求频率限制，请合理安排您的调用计划。

错误处理：在实际应用中，建议添加适当的错误处理逻辑，以应对网络问题或API调用失败的情况。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

阿里发布Qwen2.5-Turbo，支持100万Tokens上下文！

立即咨询 JOTO

想把这些做法用到你的业务里?

开启企业级 AI 落地

填写需求单