大模型微调(Fine-tuning)

• 
  

为何用公司数据做微调训练

• 操作：基于预训练好的模型（如DeepSeek-R1），使用公司内部的办公数据（如会议纪要、邮件模板、审批流程等标注数据），对模型进行二次训练。
• 目的：使模型适应特定任务或领域。让模型更贴合办公场景的专业术语、流程或风格（例如生成符合公司规范的报告、自动分类内部工单）。
• 需训练资源和时间，但远低于预训练。

微调流程大致包括：

1. 确定任务和目标:

• 首先需要明确微调的任务是什么，比如文本分类、问答系统等，以及希望模型达到什么样的效果。

• 准备数据:

  

• 数据预处理：
  

  将数据转换成模型可以接受的格式

• 选择预训练模型: 根据任务选择合适的预训练模型，如BERT、GPT、T5等。

• 调整模型结构:可能需要在预训练模型的基础上添加一些任务特定的层，比如分类任务加一个全连接层。

• 设置训练参数：确定学习率、批次大小、训练轮数(epochs)、优化器(如AdamW)、权重衰减、学习率调度等超参数。

• 训练过程: 在训练数据上进行微调，同时监控验证集的损失和指标，防止过拟合

• 评估与验证: 使用测试集评估模型性能，分析结果，可能需要调整超参数或数据

• 部署与应用: 将微调后的模型部署到生产环境，持续监控性能，可能需要迭代优化。

微调的其他知识点

分为2种：全参数微调 和 部分参数微调

1. 全参数微调/Full Fine-Tuning（更基础）

2. 部分参数微调/PET（更高效）

   以 LoRA、QLoRA、Adapter 为代表的PEFT方法成为主流，实现 <1%参数量微调 即可接近全参数性能。

   

数据处理：


• 数据预处理：清洗、标准化、增强原始数据，使其适合模型输入。
• json格式数据集：将预处理后的数据按特定结构（如json）组织，便于模型读取。（json格式，后端常用，通常为：key:value)
• 将传统的“输入-输出”标注数据（如(图像, 标签)或(文本, 答案)），转化为任务指令+输入+输出的形式，以增强模型对任务意图的理解和泛化能力。

instruction data/ 带明确任务指令的标注数据



• 在微调时，不一定非要用 Instruction Data，取决于任务类型和模型类型。

• 必须用 Instruction Data： 

  情况1：任务需要模型理解复杂意图； 

  情况2：微调的是指令优化模型

• 可不用 Instruction Data： 

  情况1：任务本身简单直接； 

  情况2：模型本身不依赖指令

• 对比：

  普通数据和instruction data对比

  任务	普通数据格式	Instruction Data 格式
  情感分类	{"text": "很好", "label": 1}	{"instruction": "判断情感", "input": "很好", "output": "正面"}
  机器翻译	{"en": "Cat", "zh": "猫"}	{"instruction": "翻译成中文", "input": "Cat", "output": "猫"}
  客服对话	{"user": "退款怎么操作？", "bot": "请登录网站申请..."}	{"instruction": "作为客服回答用户问题", "input": "退款怎么操作？", "output": "请登录网站申请..."}




微调 & RAG & 蒸馏


• Tunning 和Alignment都改变模型参数

• 微调本质上是一种训练，属于迁移学习：在预训练模型的基础上，通过继续训练使模型适应新任务。

• 微调技术是一个快速发展的领域，新的高效微调方法不断涌现。

• RAG本质上不属于微调，它的核心在于不修改LLM本身的参数，而是通过外部知识检索与生成协同来提升模型表现。

• 蒸馏不是微调，尽管两者都属于迁移学习技术。蒸馏将大模型知识迁移到小模型，训练新模型（学生模型）；微调是适配预训练模型到特定任务


（微调、RAG、蒸馏对比）