模型训练

私域大模型建设记录（四）

2024 年 9 月 3 日

本身使用了最新GPTs协作对零散笔记进行处理而成

文末有红包封面哦

GLM3微调

最近，我对GLM3-6B模型进行了一番深入的微调实践，这次的经历不仅是对技术的挑战，更是对语料积累和处理的一次深刻思考。

我的微调之旅开始于tool_alpaca示例数据集，通过P-tuning V2技术，我处理了16.9MB的数据。这个过程耗时4小时50分钟，对硬件的要求相当高。在4080单卡训练时，运行内存占用超过了14GB，几乎达到满载。尽管在Ubuntu图形界面占用了大约800-900MB的资源，整个系统的温度还是保持在了61至63摄氏度之间。

在这个过程中，我意识到微调的重点可能并非仅在于微调效果本身。大量的工作依然集中在语料的积累上。这意味着，我们可能需要考虑采用self-instruct的方式来生成大量数据，甚至还需要考虑部分人工精修。这不仅是一次技术挑战，更是一次资源管理和策略制定的考验。

这不仅仅是一个算法或者模型的问题，更是一个关于如何高效积累和处理高质量语料的问题。这次实践为我提供了宝贵的经验，也为未来的工作铺平了道路。

资源配置

在大模型的微调过程中，算力资源的配置是一个无法回避的关键话题。我个人的经验告诉我，即便是在相对高端的硬件配置下，如单个4080显卡，系统的内存和处理能力也几乎被推至极限。这种情况下，我们必须面对一个决策：是继续在本地硬件上挤压资源，还是转向更为强大的云平台？

云平台，如千帆等，提供了更为强大的计算资源，这无疑可以加快模型训练的速度，提高效率。然而，这样的选择也伴随着成本的增加。企业在做出这样的决策时，需要权衡资源的利用效率和项目的成本效益。

在我的案例中，虽然本地训练带来了资源的高负载和时间上的消耗，但它节省了昂贵的云计算费用。相反，云平台虽然提供了更高的效率，但长期来看，其成本可能远远超过了本地硬件的投入。这是一个需要精心考虑的平衡点。

在大模型的资源配置问题上，没有一成不变的答案。企业需要根据自身的资源状况、项目需求和长期发展规划来做出最适合自己的选择。无论是选择本地硬件还是云平台，关键在于如何最大化资源的效率，同时控制成本。

假设每30人配一台3060显卡的服务器，1000人用就33张3060显卡，33台带3060的机器，大约10几万搞得定。微调和训练计算好使用周期，去短期租用有数据私隐安全保证的算力资源来跑，这样就可以最大限度节省成本。现在除了大模型技术本身，更难的可能是数据处理的部分，所以从一开始先把AI加上数据处理流程去做我觉得是靠谱的，那么数据处理部分的边际成本就可以递减了。

战略思考

在大模型建设的过程中，一个关键的战略决策是选择市场导向还是科研导向。这两者虽然在表面上看起来是资金来源不同，但实际上它们的本质也大相径庭。市场导向的项目更多地关注于能够快速转化为产品或服务的可销售性，而科研导向的项目则允许我们探索未知的科学与技术。

在市场导向的战略中，关键是要识别市场需求，然后设计和开发满足这些需求的产品或服务。这种方法的优势在于它可以带来直接的经济回报，并为企业带来明确的市场定位。然而，它也可能限制了长期的技术探索和创新。

另一方面，科研导向的项目更注重于基础研究和技术的前沿探索。这种方法可能不会立即带来经济效益，但它有助于在长远中建立更深厚的技术积累和创新能力。科研导向的项目更可能打破现有的技术限制，为企业未来的发展打开新的可能性。

对于企业而言，选择市场导向还是科研导向并非非此即彼的选择。理想的情况是，两者能够在企业的大模型战略中并行发展，既满足当前的市场需求，又不放弃长期的技术探索。这需要企业在战略规划上进行细致的平衡和调整。

团队协作

在任何大模型项目中，团队协作是成功的关键之一。在我的经验中，权力结构对团队的健康和效率有着深远的影响。权力不仅可以来自于官方的职位，也可以来自于技术或知识的权威。沟通在任何团队中都至关重要，但在技术密集型的项目中尤其如此。我发现，沟通的成本往往被低估，而沟通不足则可能导致项目的失败。在团队环境中，每个人都应该寻求个人成长。我经常提醒自己，不要仅仅满足于现状，而应该不断地学习新技能和知识。这不仅有助于个人职业发展，也有助于整个团队的前进。

团队协作中的权力、沟通和个人成长是大模型项目成功的关键要素。一个健康的团队应该有清晰的权力结构，有效的沟通机制，以及支持个人成长的环境。而面对各种不确定，更优的做法是尽可能聚焦到当下立马可以开始，没有任何前置条件，而且又对未来构想中的产品肯定有帮助的事。

走向未来：从个体到团队的技术演进

在我的私域大模型建设的旅程中，一个显著的教训是，无论是技术的微调、资源的配置、战略的选择，还是团队协作的方式，都需要从一个综合的视角来考虑。技术不断进步，每个从业者都需要不断更新自己的知识库和技能。

同时，团队合作的力量是不可小觑的。在这个复杂的技术世界中，没有哪一个人能够独自完成所有事情。站在现在这个时间点上，我们可以清楚地看到，技术的未来不仅是由单个技术驱动的，而是由一个个积极学习、勇于创新、善于合作的个体和团队共同推动的。这个过程充满了挑战，但也充满了机会。我鼓励每一位读者，无论你的角色是什么，都要保持好奇和开放的心态，积极参与到这场技术演进中来。

私域大模型的建设不仅仅是一个技术项目，它是一个涉及个体成长、团队合作、战略规划和技术创新的综合性挑战。在这个旅程中，我们每个人都是重要的参与者，每个决策都是推动这个行业向前发展的一步。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们