大模型微调十诫：关于将微调模型部署到生产环境的十条建议

2024 年 5 月 26 日

大模型微调十诫：关于将微调模型部署到生产环境的十条建议：

（1）不要盲目微调模型，先尝试使用提示的方式满足需求。只有当提示无法达到质量、性能或成本目标时，才考虑微调。

（2）一定要编写提示。通过提示证明任务是可行的，作为微调的基线。如果提示就可以达到要求，微调可以进一步提升；如果提示不起作用，微调成功的可能性就很低。

（3）一定要检查数据质量。删除或修正问题数据。数据质量直接决定模型质量。

（4）使用真实数据进行微调。即使存在一些不完美的数据也没关系，只要整体分布正确就可以。

（5）留出部分数据作为测试集。不要将所有数据都用于训练。

（6）选择合适的模型规模。不要使用过大的模型，也不要使用过小的模型。规模要匹配任务难度。

（7）编写快速的评估指标。可以多次每天评估，以便快速迭代。

（8）同时编写完整的评估。定期进行完整评估，确保快速指标和最终指标一致。

（9）不要执行一次性的模型训练后就结束。持续优化模型和管道。

（10）不要死板地遵循这些建议。根据具体情形调整建议的适用性。

参考文献：

[1] https://docs.google.com/presentation/d/1IIRrTED0w716OsU_-PL5bONL0Pq_7E8alewvcJO1BCE/edit#slide=id.g2721fb6713e_0_44

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

留下你的场景和痛点,我们帮你判断从哪一步开始。