在人工智能领域的快速发展进程中，阿里通义千问的 Qwen2.5 模型以其强大的性能和广泛的应用潜力，成为了备受关注的焦点。2024 云栖大会上的发布，更是让 Qwen2.5 走进了更多开发者和研究者的视野。本文将深入探讨 Qwen2.5 的各项技术特点和优势。
1. 预训练数据优势：Qwen2.5 全系列模型在 18t tokens 数据上进行预训练，预训练数据量大幅度增长达到了 18 万亿 tokens，超过了 meta 最新开源 llama-3.1 的 15 万亿，成为目前训练数据最多的开源模型之一。大量的数据为模型提供了更丰富的知识和更准确的理解能力。
4. 强大的语言支持：Qwen2.5 支持高达 128k 的上下文长度，可生成最多 8k 内容，并且能够丝滑响应多样化的系统提示，实现角色扮演和聊天机器人等任务。它还支持中文、英文、法文、西班牙文、俄文、日文、越南文、阿拉伯文等 29 种以上语言，具有强大的多语言能力。
教育领域：可以作为智能辅导工具，为学生解答学习过程中的各种问题，辅助他们理解复杂的知识概念。例如，在语文学习中，Qwen2.5 可以分析文学作品、生成写作建议；在数学学习中，帮助学生解决难题、讲解解题思路。 企业办公：在企业中，Qwen2.5 可用于智能客服，快速准确地回答客户的问题，提高客户满意度。同时，还能助力自动化办公，如撰写报告、整理数据等，极大地提高工作效率。 科研领域：为研究人员提供强大的数据处理和分析支持。在文献综述中，快速梳理相关领域的研究现状；在实验设计阶段，提供创新的思路和方法。 编程开发：Qwen2.5-coder 为开发者提供高效的编程辅助，生成高质量的代码、进行代码优化和调试，加快软件开发的进程。
在魔搭社区，开发者可以通过多种方式体验和使用Qwen2.5系列模型。可以使用ModelScope CLI、Python SDK或者git clone的方式下载模型。Qwen2.5合集的体验链接为：https://modelscope.cn/studios/qwen/Qwen2.5。此外，还有小程序体验，如看图解数学题（Qwen2 - VL + Qwen2.5 - Math）的体验链接为：https://modelscope.cn/studios/qwen/Qwen2.5 - Math - demo。
1、模型下载
#模型下载from modelscope import snapshot_downloadmodel_dir = snapshot_download('Qwen/Qwen2.5-7B-Instruct', cache_dir='/root/autodl-tmp', revision='master')
2、加载模型
from modelscope import AutoModelForCausalLM, AutoTokenizer# 指定要加载的模型名称model_name = "/root/autodl-tmp/Qwen/Qwen2___5-7B-Instruct"# 加载因果语言模型model = AutoModelForCausalLM.from_pretrained(model_name,torch_dtype="auto",# 自动确定 PyTorch 的数据类型device_map="auto"# 自动确定设备映射)# 加载分词器tokenizer = AutoTokenizer.from_pretrained(model_name)
加载如下：
3、定义提示消息
# 设置提示文本prompt = "Give me a short introduction to artificial intelligence."# 构建包含系统角色和用户角色的消息列表messages = [{"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},{"role": "user", "content": prompt}]# 将消息列表应用聊天模板进行处理，不进行分词操作且添加生成提示text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)text
'<|im_start|>system\nYou are Qwen, created by Alibaba Cloud. You are a helpful assistant.<|im_end|>\n<|im_start|>user\nGive me a short introduction to artificial intelligence.<|im_end|>\n<|im_start|>assistant\n'
4、分词处理
# 将处理后的文本转换为模型输入张量，并移动到模型所在设备上model_inputs = tokenizer([text], return_tensors="pt").to(model.device)model_inputs
5、生成文本
# 生成文本，设置最大新生成的标记数为 512generated_ids = model.generate(**model_inputs,max_new_tokens=512)# 从生成的标记中去除输入部分的标记generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]generated_ids
6、解码返回生成结果
# 将生成的标记解码为文本，并跳过特殊标记response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]response
'Certainly! Artificial Intelligence (AI) refers to the simulation of human intelligence in machines that are programmed to think, learn, and perform tasks that typically require human cognition. This includes activities such as visual perception, speech recognition, decision-making, and language translation.\n\nKey components of AI include:\n\n1. **Machine Learning**: A subset of AI where systems can automatically learn and improve from experience without being explicitly programmed.\n2. **Deep Learning**: A more advanced form of machine learning that uses neural networks with many layers to model and solve complex problems.\n3. **Natural Language Processing (NLP)**: The ability of computers to understand, interpret, and generate human language.\n4. **Computer Vision**: Enabling machines to interpret and understand the visual world, similar to how humans would.\n5. **Robotics**: Combining AI with robotics to create machines that can perform tasks autonomously or semi-autonomously.\n\nAI has numerous applications across various fields, including healthcare, finance, transportation, entertainment, and more. It continues to evolve rapidly, transforming industries and societies in profound ways.'
在模型部署方面，vLLM 部署和 ollama 部署犹如两颗璀璨的明星，为开发者照亮了前行的道路。它们以其便捷性和高效性，使得 Qwen2.5 能够在各种实际场景中得以顺利应用。无论是在企业的智能化生产中，还是在科研机构的创新研究里，亦或是在日常生活的智能服务中，Qwen2.5 都能借助这些优秀的部署方式发挥出巨大的价值。
