01 为什么要微调
02 LLaMA Factory简介
多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练和 ORPO 训练。
多种精度：32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。
先进算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 微调。
实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。
无需魔法: 实现了hugging face和魔塔方式下载模型和数据集,大大方便了很多开发者。
03 LLaMA Factory部署
3.1 基础依赖安装
git clone https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factorypip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"pip install --no-deps xformers<0.0.26pip install .[torch,bitsandbytes] # 根据实际需要, 具体可以看setup.py的extra_require变量,可选的额外依赖项：torch、metrics、deepspeed、bitsandbytes、vllm、galore、badam、gptq、awq、aqlm、qwen、modelscope、qualityexport USE_MODELSCOPE_HUB=1 #一般国内无法直接下载hugging face的模型,可以使用魔塔方式
3.2 LLaMA Board 可视化微调
pip install --upgrade huggingface_hubhuggingface-cli loginGRADIO_SHARE=1 llamafactory-cli webui
3.3 LLaMA CLI 微调
# 以sft训练为例CUDA_VISIBLE_DEVICES=0,1 llamafactory-cli train examples/lora_single_gpu/llama3_lora_sft.yaml
04 LLaMA Factory实际场景
StarWhisper: 天文大模型 StarWhisper，基于 ChatGLM2-6B 和 Qwen-14B 在天文数据上微调而得。
DISC-LawLLM: 中文法律领域大模型 DISC-LawLLM，基于 Baichuan-13B 微调而得，具有法律推理和知识检索能力。
Sunsimiao: 孙思邈中文医疗大模型 Sumsimiao，基于 Baichuan-7B 和 ChatGLM-6B 在中文医疗数据上微调而得。
CareGPT: 医疗大模型项目 CareGPT，基于 LLaMA2-7B 和 Baichuan-13B 在中文医疗数据上微调而得。
MachineMindset：MBTI性格大模型项目，根据数据集与训练方式让任意 LLM 拥有 16 个不同的性格类型。
Luminia-13B-v3：一个用于生成 Stable Diffusion 提示词的大型语言模型。[?Demo]
Chinese-LLaVA-Med：中文多模态医学大模型，基于 LLaVA-1.5-7B 在中文多模态医疗数据上微调而得
......还有一些论文等
05 LLaMA Factory项目结构
应用层: web端、cli端、丰富参数配置以及完备的训练场景监控, 包括api方式保留,用户可以自定义前端
模型加载器:支持hugging face和魔塔下载, 支持量化、适配等操作
数据处理器: 支持hugging face和魔塔下载,支持对齐、补齐等操作
训练器: 主要支持lora方式微调, 支持 (增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练和 ORPO 训练方法。
06 总结
