这段时间，一直在思考微调垂直大模型。涉及的领域：大数据和大模型。
由于配置和经费问题，想着用一个小模型去微信一个大数据专家。
基于Qwen2-0.5B模型进行垂直微调，利用【数据中台-让数据用起来（第2版）】PDF书籍制造问答数据。
初期效果不是很好，特别是模型合成的时候，更不好了。
继续ing。
在查阅知乎的时候，看到一篇微调模型总结，分享给小伙伴...
垂直领域大模型微调的实战经验，从基座模型选择、模型整体架构、数据设计和训练微调四个方面进行详细解析。结合实际案例和测试结果，文章提供了具体可行的操作方法和注意事项，适用于各类垂直领域大模型的微调实践。
一、基座模型选择
在选择基座模型时，最好选择那些已经在相关领域有一定基础的模型。
比如在医学领域，BLOOMZ模型是个不错的选择，因为它使用了PILE语料库进行训练，包含了大量医学文本，如PubMed Central和PubMed Abstracts。这类模型的医学知识体系相对比较完善，能够在微调时更好地适应医学领域的需求。
选择基座模型时，还要考虑模型的参数规模和性能。超大参数模型（至少百亿）的能力即使经过量化，仍能保持较高的性能。这类模型虽然训练和部署成本较高，但在处理复杂任务时表现更佳。
另外，不要指望一个单个垂直领域的LLM就可以满足所有需求。
合理的做法可能是结合实时更新的知识库和微调的垂直领域LLM，比如ChatLaw。这种组合能够更好地应对多变的需求，同时保持模型的灵活性和实用性。（合理，微调+知识库RAG的方式相结合）
二、模型整体架构
在设计模型整体架构时，要注意灵活性和可扩展性。一个合理的模型架构不仅要能够满足当前的需求，还要具备一定的扩展能力，以应对未来可能出现的变化和增加的需求。
比如，对于医学领域的大模型，可以采用一个实时更新的知识库加上一个微调后的医学LLM的架构。这种架构不仅可以保证模型的实时性，还能通过知识库的更新来弥补模型在某些特定知识点上的不足。
超大参数模型的设计也是一个需要重点考虑的方面。虽然这些模型的训练成本较高，但其在处理复杂任务时的表现往往优于小参数模型。因此，在资源允许的情况下，优先选择超大参数模型进行微调。
三、数据设计
数据设计是微调过程中至关重要的一环。在LLM时代，数据质量往往比数据数量更为重要。比如，上交清源和里海的研究表明，利用200条高质量数据微调模型，其效果可能超过使用大量低质量数据。
为了防止灾难性遗忘，在算力充足的情况下，建议使用垂直领域数据和通用语料数据进行混合训练。这样既可以保证模型在垂直领域的表现，也能保持其通用能力。
在进行大规模数据的二次预训练时，需要添加5-10倍原始预训练中的其他类型数据，并打混后一起训练。大量增加某类在预训练时没有的知识，可能会造成模型参数的大幅度变化，从而影响模型整体性能。
噪音数据的控制也是数据设计中的一个关键点。预训练数据中如果出现少量连续的噪音数据，比如重复单词或非单词序列，都会影响模型的表现。因此，在数据准备过程中，必须严格控制数据的质量，确保训练数据的干净和高质量。
四、训练微调
训练微调是模型性能优化的最后一步，也是最为关键的一步。在全流程的LLM训练中，包括了预训练、监督微调、奖励模型和强化学习等多个环节。对于大多数垂直领域模型来说，监督微调已经能够满足大部分需求。
在指令微调阶段，不建议进行过多轮次的训练。针对少量数据进行多个epoch的训练，可能会导致模型的关键区域发生变化，从而影响整体性能。为了保证模型语言能力关键区不被大幅度调整，需要在指令微调过程中添加通用指令数据或者预训练数据。
模型微调时，优化器的选择对结果影响并不大。无论是AdamW、带调度器的SGD，还是带调度器的AdamW，对结果的影响都微乎其微。但是，调整LoRA rank和选择合适的α值至关重要，可以把α值设置成rank值的两倍。
虽然LLM训练有着不可避免的随机性，但多轮训练的结果仍非常一致。因此，在条件允许的情况下，可以通过多轮训练来进一步优化模型性能。如果受GPU内存限制，QLoRA提供了一种高性价比的折衷方案，以运行时间增长39%的代价，节省33%的内存。
总的来说，垂直领域大模型的微调需要结合实际需求，选择合适的基座模型，设计合理的模型架构，处理和设计高质量的数据，并在训练和微调过程中严格控制各个细节。通过这些方法和技巧，可以显著提升大模型在垂直领域的表现。
