LlamaFactory | 高效微调大语言模型的统一框架

大语言模型 (LLM) 通过在文本生成、翻译、情感分析和问答等任务上取得显著的性能，彻底改变了自然语言处理 (NLP) 领域。高效的微调对于将LLM适配到各种下游任务至关重要。它允许从业人员利用模型的预训练知识，同时比从头开始训练需要更少的标注数据和计算资源。然而，在不同的模型上应用这些方法却往往需要付出不小的努力。

在有限的资源条件下微调大量参数成为LLM适应下游任务的主要挑战。一种流行的解决方案是高效微调，它能降低LLM在适配各种任务时的训练成本。目前针对LLM高效微调方法已经有了多种尝试，但是业界仍然缺少一个能够将这些方法适配并统一到不同LLM上的系统性框架，同时提供友好界面供用户定制化使用。

针对这个问题，来自北京航空航天大学计算机科学与工程学院和北京大学软件与微电子学院的研究人员提出了LLAMAFACTORY。这个框架致力于让LLM的微调过程大众化。它通过可扩展的模块统一了各种高效微调方法，能够以最小的资源和高的吞吐量微调数百个LLM。此外，它还简化了常用的训练方法，包括生成式预训练、监督式微调 (SFT)、人类反馈强化学习 (RLHF) 和直接偏好优化 (DPO)。用户可以使用命令行或网页界面轻松定制和微调他们的LLM，而无需或仅需极少的编码工作。

LLAMAFACTORY 由三个主要模块组成：模型加载器、数据处理模块和训练器。此外，研究人员还提供了LLAMABOARD，它为上述模块提供了一个友好的可视化界面。这使用户能够以无代码的方式配置和启动单个LLM的微调过程，并即时监控训练状态。

• 模型加载器： 模型加载器包含四个组件：模型初始化、模型修补、模型量化和适配器加载。它为微调准备了各种模型结构并支持超过100种LLM。
• 数据处理模块： 数据处理模块通过精心设计的管道处理来自不同任务的数据，支持超过50个数据集。
• 训练器：训练器统一了各种高效的微调方法，以将LLM模型适配到不同的任务和数据集，提供了四种训练方法。

QLoRA在训练效率方面始终具有最低的内存占用，因为预训练的权重以较低的精度表示。 LoRA通过Unsloth对LoRA层进行优化从而具有更高的处理速度。 GaLore 在大模型上实现较低的PPL，而LoRA在较小的模型上具有优势。在下游任务的评估结果中，报告了每个LLM和每个数据集的 ROUGE-1、ROUGE-2 和 ROUGE-L 的平均分数。在大多数情况下，LoRA 和 QLoRA 的表现最好，但 Llama2-7B 和 ChatGLM3-6B 模型在 CNN/DM 和 AdGen 数据集上的表现除外。此外，Mistral-7B 模型在英文数据集上表现更好，而 Qwen1.5-7B 模型在中文数据集上获得更高的分数。

总而言之，LLAMAFACTORY 是一个用于LLM高效微调的统一框架。其模块化设计使模型、数据集和训练方法之间的依赖性降至最低。它提供了一个集成的方法来微调100多个LLM，并支持多种高效微调技术。此外，还提供了灵活的网页UI：LLAMABOARD，无需编码即可方便地定制化微调和评估LLM。研究人员还通过语言建模和文本生成任务，实证验证了他们框架的效率和有效性。