模型训练

如何高效利用 Transformers 库中的 Pipeline 进行大语言模型的应用

2024 年 9 月 25 日

在自然语言处理（NLP）领域，大语言模型（LLMs）近年来引起了广泛关注。Transformers 库中的 Pipeline 提供了一种简单而高效的方法来处理从原始文本到模型推理再到结果生成的完整流程。本篇文章将详细介绍如何利用 Pipeline 结合现代大语言模型，具体涵盖语言建模、Tokenizer 和 Model 的管理、以及模型的保存等方面。

一、使用 Pipeline 进行语言建模

语言建模的核心任务是预测文本序列中的下一个单词。这项技术在 NLP 中扮演着重要角色，特别是在预训练的语言模型中，它们可以用于多种下游任务的微调。我们将重点介绍如何使用 Pipeline 调用大语言模型，具体包括 GPT-2 的文本生成和 BERT-Base-Chinese 的中文补全。

1. 使用 GPT-2 实现文本生成

GPT-2 是一种自回归语言模型，其任务是根据给定的上下文生成下一段文本。使用 Pipeline 调用 GPT-2 可以轻松实现文本生成。

from transformers import pipeline
# 创建一个文本生成的 Pipelinegenerator = pipeline("text-generation", model="gpt-2")
# 生成文本result = generator("Hello, I am an AI model", max_length=50, num_return_sequences=3)print(result)

在这个示例中，我们创建了一个文本生成 Pipeline，并指定了生成文本的最大长度和返回结果的条数。GPT-2 根据输入文本生成多种可能的输出，帮助我们快速获取生成的文本内容。

2. 使用 BERT-Base-Chinese 实现中文补全

BERT-Base-Chinese 是一种自编码语言模型，其任务是理解上下文，并预测被掩盖的单词。使用 Pipeline 调用 BERT 可以实现中文文本的自动补全。

from transformers import pipeline
# 创建一个填充掩码的 Pipelinefill_mask = pipeline("fill-mask", model="bert-base-chinese")
# 执行中文补全result = fill_mask("今天是一个[MASK]的日子")print(result)

在这个示例中，[MASK] 代表需要补全的词汇。BERT-Base-Chinese 将根据上下文预测出最合适的词汇，从而完成文本的补全任务。

二、使用 AutoClass 高效管理 Tokenizer 和 Model

Transformers 库中的 AutoClass 提供了自动加载预训练模型和分词器的功能，简化了模型的使用过程。我们可以通过 from_pretrained() 方法快速加载所需的模型和分词器。

1. 使用 from_pretrained() 方法加载模型和分词器

from transformers import AutoTokenizer, AutoModel
# 加载 BERT-Base-Chinese 的 Tokenizer 和 Modeltokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")model = AutoModel.from_pretrained("bert-base-chinese")

这段代码将自动下载并加载 BERT-Base-Chinese 模型及其分词器，使得我们能够直接使用这些预训练的资源进行后续的任务。

2. 使用 BERT Tokenizer 编码文本

Tokenization 是将文本转换为模型可以理解的格式的过程，包括分词和映射。我们可以使用 tokenizer.encode() 方法来进行编码：

# 编码文本inputs = tokenizer("你好，长沙！", return_tensors="pt")print(inputs)

这段代码将文本转换为模型所需的输入格式，返回一个包含 input_ids、token_type_ids 和 attention_mask 的字典。这些信息对于模型的推理至关重要。

3. 编解码多段文本

对于多个文本的处理，我们可以使用 tokenizer.__call__() 方法，该方法会自动处理文本的编码和特殊字符的补全：

# 编码多段文本texts = ["你好", "长沙"]inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")print(inputs)

这段代码处理多个文本，自动进行填充和截断，以适应模型的输入要求。

三、添加新 Token

在实际应用中，我们可能会遇到词汇表中不存在的新词汇。Transformers 库提供了添加新 Token 的方法，以适应这些新词汇的需求。

1. 添加常规 Token

如果我们需要添加常规的 Token，可以使用 add_tokens() 方法：

# 添加新 Tokennew_tokens = ["新词汇"]tokenizer.add_tokens(new_tokens)

‍

2. 添加特殊 Token

对于特殊用途的 Token，可以使用 add_special_tokens() 方法：

# 添加特殊 Tokenspecial_tokens_dict = {'additional_special_tokens': ["[NEW_TOKEN]"]}tokenizer.add_special_tokens(special_tokens_dict)

这两种方法可以扩展现有的词汇表，以包含新的词汇和特殊字符。

四、保存模型和分词器

在模型和分词器的使用过程中，可能需要保存修改后的模型和分词器以便后续使用。Transformers 库提供了便捷的保存方法。

1. 保存模型和分词器

# 保存 Tokenizer 和 Modeltokenizer.save_pretrained("./models/new-bert-base-chinese")model.save_pretrained("./models/new-bert-base-chinese")

保存模型时，会在指定路径下生成以下文件：

config.json：模型配置文件，包含模型结构参数。
pytorch_model.bin：模型权重文件，存储模型的权重数据。

保存分词器时，会生成以下文件：

tokenizer.json：分词器元数据文件。
special_tokens_map.json：特殊字符映射配置文件。
tokenizer_config.json：分词器基础配置文件。
vocab.txt：词表文件。
added_tokens.json：新增 Token 的配置文件。

五、总结

通过 Transformers 库中的 Pipeline 和 AutoClass，我们可以高效地进行大语言模型的应用。这些工具不仅简化了模型的加载和管理，还使得语言建模、Tokenization 和模型保存变得更加便捷。希望本文能为您在使用大语言模型时提供实用的指导，帮助您更好地完成各种 NLP 任务。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们