大语言模型

银行如何设计大模型应用架构？四家头部银行落地实践

2024 年 8 月 6 日

自2022年底ChatGPT爆火以来，大模型在银行领域呈现出了积极而充满活力的态势，这种积极性不仅表现在技术的研究和跟踪上，更体现在实际落地的探索和应用中。

根据沙丘智库发布的《价值已现！36家银行大模型应用现状梳理》，目前，大模型已经渗透到银行的多个应用场景，多家银行也将大模型技术作为未来的重点方向持续加码。

企业在落地大模型时需要构建一套完整的应用架构，来支撑大模型的开发和部署，确保模型在实际应用中的稳定性、安全性和合规性。沙丘智库将企业大模型应用架构分为五个关键层：

• 应用层：基于大模型的应用将大模型技术用于用户体验和任务增强，协助用户完成所需的结果。大模型正在渗透到与知识劳动力相关的领域和技能组合中，重构企业生产力，企业逐渐对大模型进行定制化并应用到其生产力和业务流程工具中;

• 平台工具层：工程化工具使企业能够更快地使模型投入生产，平衡了模型治理和上市时间的考量，工具建设是大模型应用范式的关键；

• 模型层：大模型在企业落地通常包括基础大模型（L0）、行业大模型（L1）和领域大模型（L2），企业需要根据业务需求、投入成本、价值实现周期、安全和隐私原则，选择适合企业的模型；

• 数据层：大规模、多样化、高质量的数据集，是大模型应用的前提，企业需要构建数据/知识飞轮，进行“抢救性”的知识保护和挖掘，实现从数据到知识的跨越；

• 基础设施层：大模型的训练需要大规模、定制化基础设施的支持，尤其是在高性能GPU芯片方面，需求远远大于供给。

沙丘智库长期跟踪调研大模型技术的发展，旨在帮助企业快速了解大模型最新、最全面的落地情况。沙丘智库通过研究工商银行、邮储银行、农业银行、平安银行等头部银行的大模型应用架构建设实践，旨在为其他金融机构提供参考。

▎案例1：中国工商银行大模型落地实践

中国工商银行按照“三大支柱、两全平台、1+X范式、一个生态”的建设思路，建成全栈自主可控的千亿级金融大模型技术体系，构建了开放共赢的“人工智能+金融”生态。

• 三大支柱：聚焦“算力、算法、数据”，率先建成业界领先的三大技术支撑能力，夯实大模型应用基石。

• 两全平台：面向数据、模型、应用三类大模型核心能力，构建大模型一体化敏捷数智研发和全域安全防控平台，促进大模型安全可信发展。

• 1+X范式：建立以金融智能中枢为核心的大模型应用范式和工程化解决方案，提供面向场景开箱即用的组合服务，实现规模化应用创新。

• 一个生态：打造大模型应用生态，全面赋能信贷、远程银行等主要业务领域的数智化应用，增强高质发展动能，为数字金融生态发展提供新质生产力。

完整内容：中国工商银行大模型落地实践

▎案例2：中国邮储银行大模型应用实践

邮储银行建设了大模型应用架构，从下自上分别为算力层、数据层、模型层、平台层、场景层和接入层。在通用大模型基础之上，邮储银行构建了金融领域大模型，与研发测试、零售领域、公司领域、资管领域、客户服务、风险信贷、综合办公和运营领域相对应，从而加速这八大领域大模型的应用，面向客户提升体验，面向员工降本增效。