我们正处在一个智力变革的路口。
在大模型技术快速迭代的同时，我们越来越发现一个现实问题：大模型在具体行业中的应用，推进好像没那么快。很多企业对大模型一边期待、一边焦虑，想尽快用起来，又太知道怎么用，即使是有试用，效果也不明显。这也反映出，目前大模型技术的能力与行业应用需求间还存在差距，要用一个通用的大模型来直接满足各行各业的特定需求，至少现在还有一定距离。
怎么办？行业大模型应运而生。
01、行业大模型，AI+的最后一公里
通用大模型与行业具体需求间存在差距，行业大模型成为弥合技术与需求间差距的必然产物，能有效支持各行各业加速落地大模型应用。
一是高性价比，行业大模型能在较小参数量模型的基础上，通过相对低成本的再训练或精调，达到较好的性能效果。十亿~百亿级参数量的行业大模型是目前主流选择，相比通用大模型动辄千亿级以上的参数量能明显节省开发成本；
二是可专业定制，行业大模型可基于开源模型开发，能对模型结构、参数等按需调整，更好地适配个性化的应用需要。通过模型即服务（MaaS, Model-as-a-Service）方式，机构可以从平台对接的多种模型中快速选择合适的使用，包括厂商已开发的行业大模型初始版本；
三是数据安全可控，行业大模型可采用私有化部署方式，机构能更放心地利用私有数据提升应用效果，减少数据安全的疑虑。
02、行业大模型应用阶段与场景
参考埃弗雷特•罗杰斯（Everett M. Rogers）《创新的扩散》（Diffusion of Innovations）一书中对创新阶段的界定，我们从技术发展和市场渗透两个维度构建视图，结合一线调研数据，综合评估、定位各行业在 2024年初的位置，以便对不同行业采纳大模型的进程做比较。
结果显示：目前行业在大模型技术的采用上主要集中在两个阶段：探索孵化期与试验加速期。部分行业已经步入采纳成长期，尚未有行业达到落地成熟期。
具体在应用场景方面，我们进行了如下汇总：
03、如何构建行业大模型
行业大模型的构建和应用中，由于需求和目标不同，技术实现复杂性差异也较大。通过调研总结，目前机构在使用大模型适配行业应用过程中，从易到难主要有提示工程、检索增强生成、精调、预训练四类方式。
在机构的具体实践中，通常不会只用一种方式，而会组合使用，以实现最佳效果。例如，一个高质量的智能问答系统，会综合使用提示工程、检索增强生成和精调等方式。
通过提示词工程、检索增强生成、精调三种方式都无法达到需求标准时，还可以选择预训练的方式，构建一个专门为特定行业定制的大模型。
但是，预训练行业大模型适用于与现有大模型差异较大的场景。预训练方式要求搜集并标注大量行业特定数据，涵盖文本、图像、交互记录，以及特殊格式数据（如基因序列）；
在训练过程上，模型通常会采用从底层参数开始训练，或者基于已经具备一定能力的通用模型进行后训练（post-training，也称为二次增训），目的是使大模型更好地理解特定领域的术语、知识和工作流程，提高大模型在行业应用中的性能和准确性，确保其在该领域的专业性和效率。
不难看出，预训练投入较大，训练过程与通用大模型相似，只是更注重行业特性。所以，目前也很少有企业采用。
总结：
随着行业大模型的不断发展和完善，我们有理由相信，它将成为推动各行各业智能化转型的关键力量。未来，随着技术的进一步成熟和行业需求的不断明确，行业大模型将更加精准地服务于特定领域，实现从概念验证到实际应用的跨越。这不仅将为企业带来更高的效率和价值，也将为整个社会的进步和发展注入新的活力。
