浅谈大模型及其在金融行业中的应用

2022年11月30日ChatGPT发布以来，作为其核心技术的大语言模型（Large Language Model，LLM，以下简称“大模型”）成为当前全球技术热点。国内企业紧随其后，以百度的文心一言、阿里的通义千问、华为的盘古、科大讯飞的讯飞星火等为代表的大模型短时间内纷至沓来。在不到一年时间内，包括昆仑万维、京东、网易、贝壳等公司在内推出大模型的国内企业已有100多家，形成了百“模”群舞的壮观场面。

与此同时，各类科技相关领域的论坛及研讨会言必谈大模型。就金融科技领域峰会而言，大模型已经基本成为主题之一。“大模型改变世界”“大模型是新时代的‘发电厂’”之类的言论铺天盖地而来，让身处其中的金融科技人员不免开始感觉到了恐慌。

这不由得让笔者想起了当年区块链推出时的场面。2019年是区块链最火的一年，当时很多媒体、专家学者提出，区块链是一个可能改变时代发展进程的技术，将引领“第四次工业革命”。在密切注意区块链技术发展现状和趋势的前提下，国家层面提出要把区块链作为核心技术自主创新的重要突破口，加快推动区块链技术和产业创新发展。一夜春风来，万树梨花开，包括金融科技领域在内，各类区块链的应用层见迭出。而风口之下，百态尽显，其中不乏“拿着锤子找钉子”的现象。比如，有些应用场景仅仅使用了摘要加密技术，即敢声称是运用了区块链，甚至还有一些公司连夜更名，用招牌直接攀附上区块链的亲缘。

而今，大模型的横空出世，再次点燃了国内追逐新技术新应用的热情。那么大模型究竟是什么？它对金融科技应用到底有什么作用？笔者作为一名金融科技应用方面的从业者，在此谈谈自己的浅见。

大模型是人工智能细分领域的新技术，其关系结构如图1所示。

通俗来说，大模型就是用于人类语言处理的一种技术（随着多模态应用的出现，实际上大模型已不仅仅应用于人类语言的处理）。其专业解释即基于机器学习和自然语言处理（Nature Language Process，NLP）技术的模型，通过对大量的文本数据进行训练，来学习服务人类语言理解和生成的能力。

（1）自然语言处理的局限

在人类语言的处理方面，不得不提的是NLP。NLP是一门融语言学、计算机科学、数学于一体的科学，是计算机科学领域与人工智能领域中的一个重要方向，主要研究能够实现人与计算机之间用自然语言进行有效通信的各种理论和方法，被称为“人工智能皇冠上的明珠”。NLP与自动语音识别（Automa tic Speech Recognition，ASR）、语音合成（Text-To-Speech，TTS）合称为语音交互领域的“三驾马车”。

人类语言的处理本质上是“序列处理”，即当我们在理解一句话的意思时，孤立理解这句话的每个词是不够的，还需要处理这些词连接起来的整个序列，而且每往后处理一个Token（可以理解为汉字或单词），都必须和前面已经处理过的所有Token关联起来进行分析和处理。

NLP中有一个非常经典的模型，称为“循环神经网络（Recurrent Neural Network，RNN）”，即通过循环的序列处理方式来实现人类语言处理。但这种方式存在两大缺陷：一是无法并行，一定程度上限制了处理的效率，从而影响所能处理的规模；二是如果序列太长会发生梯度消失或者梯度爆炸的问题，从而导致不能长期记忆（就像人一样，时间久了有些事情记不住），这就会在更大程度上影响所能处理的规模。

（2）Transformer模型的出现

2017年，谷歌发表了一篇题为Attention is All Your Need的论文，文中提出的自注意力（Self-Attention）模式很好地解决了NLP中RNN序列处理的问题。其原理在于，利用张量计算序列中每一个Token与其他Token的紧密度关系，称之为“注意力指标”。该指标越高，说明关系越紧密，越发需要引起注意，并以此来预测和生成下一个Token。这就是著名的Transformer模型。举例说明：

问：我们说爱因斯坦是个科学家，那么贝多芬是个_________?答：音乐家。

在上述问题中，无疑最需要注意的词是“贝多芬”，但是如果只注意“贝多芬”这个词，那么这道题回答为“男人”或者“外国人”也是正确的，但这肯定不是出题者希望得到的答案，因此前面“爱因斯坦”和“科学家”这两个词同样是需要注意的，即通过每个词之间的紧密度关系，预测和生成问题的答案。

Transformer的自注意力机制使得每个Token都可以只计算自己的自注意力，而不需要关注其他Token的计算结果，因此它很好地解决了RNN无法并行计算的问题；同时也不会出现序列过长导致的梯度消失或梯度爆炸问题。

Transformer的诞生很好地解决了RNN存在的限制处理规模的两个问题，从而为超大或巨大模型的处理创造了可能。

（3）大模型的诞生

此后，美国人工智能研究公司OpenAI开始了Transformer模型训练，即不断给模型灌输学习材料，持续进行模型调整。从GPT-1到GPT-3各个模型灌输的学习材料和对应的模型参数见表1。

具体的训练方式实际上比较复杂，包括无监督学习、监督学习和强化学习三个阶段。

无监督学习：把杂乱无序的信息如新闻、维基百科、帖子等各种人类语言资料都灌输给模型进行学习，旨在让模型掌握人类语言的规律。

监督学习：提供经过人为规范了的标准语言范本并打上标签灌输给模型进行学习，旨在告诉模型什么样的回答方式是正确和规范的，以纠正大模型的一些问题，例如胡说八道（也称“机器幻觉”）、回答问题不规范（只回答“是”或者“不是”，而不进一步说明原因）、被诱导提供有害信息等。

强化学习：以让模型更具创新性为目的，使模型自由发挥生成各种结果，人类对于好的结果给予正分反馈，对于不好的结果给予负分反馈（类似人类训练小动物的行为）。

在经过了大量学习材料的灌输学习和训练后，到了GPT-3，奇迹出现了。人们发现，在被灌输的学习材料达到一定规模后，模型涌现了很多让人意想不到的能力。一是理解指令的能力，比如模型能听懂“翻译”“请计算”“请编码”的指令；二是理解例子的能力，即给模型一个范文，它能够根据范文的样式写出另外一篇文章；三是思维链的能力，对于一个较复杂的问题，在模型无法直接给出解答的情况下，将其分为多个小问题再逐一向模型提问，模型给出最终解答的概率大幅提升。

这些能力的涌现有些可以解释为训练的结果，但也有一些至今无法给出完全解释。业界的普遍分析是与训练规模达到了一定的临界值有关，即我们通常所说的量变产生了质变。也就是说，对于这种训练，数据规模、参数规模达到一定临界值的模型才被称为“大模型”。

大模型是一种生成模型，与搜索引擎是有本质区别的。搜索引擎是把已有的信息以数据库的形式存储下来，在需要的时候进行数据库搜索，靠的纯粹是记忆，而不是学习。而大模型更多强调的是学习，通过学习产生自动生成新信息的能力，因此被称为“生成模型”。相比搜索引擎而言，生成模型不局限于已有的信息和知识，而是可以自主创新生成全新的内容，在内容创新和应用创新上发挥独有的专业能力。

基于大模型所涌现出来的指令理解能力、内容生成能力、思维链能力以及创新能力，其应用领域和应用场景应较多。据笔者总结，大模型可能的应用场景包括但不限于如下几个方面：

一是智能客服。目前的智能客服基于搜索引擎，语言生成能力相对较弱，会让客户明显感觉是在与机器人对话，服务温度大大低于人工客服。如果在智能客服中引入大模型，则可以利用大模型强大的语言生成能力，再辅以更好的TTS能力，客户可能完全感受不到是在和机器对话，客服温度将得到大幅提升。

二是智能投顾和智能投研。目前的智能投顾和投研更多依赖于行业专家和客户经理的知识经验分析，一方面对客服务的并发能力受到限制，另一方面人为因素的限制一定程度影响最终分析结果的全面性和准确性。而利用大模型，基于财富管理专业知识、海量投资标的信息分析以及大量投研数据的训练分析，让机器进行时间和收益等信息的预测，其分析结果的全面性和准确性可能优于人工的分析结果，从而可以帮助客户经理为客户提供更好的投资理财建议。

三是智能营销。目前广泛使用的CRM或者智能营销管理系统主要基于现有产品的营销数据分析提供各类分析结果数据，其本身并不对分析结果进行判断并给出改进建议。而大模型的生成和创新能力可以帮助我们在已有产品营销数据分析的结果之上，进一步提出优化和改进的建议，甚至提出新的产品设计思路，帮助实现产品创新。同时，如果结合客户的行为分析数据，还可以为客户量身打造专属的产品，大大提升金融机构的产品营销能力。

四是智能风控。目前的智能风控系统需要持续跟踪已有的风控模型效果并不断进行调优，这需要大量交易数据分析，并结合各类风险案例，以人工方式进行。这对人员素质要求非常高，而且存在人为的不可控因素。利用大模型对已有风控策略及实际各类交易信息数据的学习，跟踪分析模型效果，并及时给出模型调优的建议，生成新的风控策略模型，可有效释放人力并助力金融机构风控能力的提升。

五是代码研发。目前，GPT及国内发布的几个大模型均已经具备了代码生成能力。但就目前而言，直接让大模型完成整个代码研发工作是非常不现实的，一方面机器编码在漏洞防范方面尚有较大提升空间，另一方面存在代码隐私保护方面的问题。我们可以做的是，利用大模型协助进行已有代码的注释，并进一步提供具体要求让模型生成初始的代码，达到大幅提升代码编写效率的目的。

六是办公自动化。会议纪要、工作日报和周报，甚至发言稿的编写等文字处理和文字生成工作，均是大模型的强项，均可以通过大模型完成初稿，以提升工作效率。

七是数据分析。通过大模型将业务问题转换为数据分析问题，并进一步转换生成数据分析的SQL语句，让机器辅助用数分析，提升用数能力。

面对多种应用场景，是否可以广泛使用大模型呢？笔者认为，就目前而言，大模型应用还存在诸多限制，在此主要分析两方面的问题。

第一，大模型的应用成本仍非常高。大模型对训练数据规模及基础算力的要求较高。举例而言，OpenAI对GPT-4做一次训练需要在大约25 000个A100上训练90～100天，一次训练的成本为6300万美元；华为在训练千亿参数的盘古大模型时，调用了超过2000块腾910，进行了超过2个月的训练；国内某大行引入了华为的盘古大模型，开展金融行业大模型的训练，百亿级的规模使用了200多张GPU卡（平均每张卡16万元），一次训练大约需要10天。就目前而言，该成本对于一般中小城商行而言是难以负担的。

第二，大模型仍存在一些明显的短板。大模型虽然在文本、图像等领域的生成能力优势明显，但当前阶段尚不成熟，仍存在科技伦理风险等问题，因此，短期内不建议直接对客使用。大模型的内容生成是基于概率生成的，如果模型训练材料中存在政治、科学伦理等方面的不良内容，则可能导致模型生成结果出现不良信息。如果直接对客使用就可能造成对客户的伤害，最终影响金融机构的声誉。

根据相关资料，目前金融企业建设大模型主要有三种模式：独立自建、行业合作和云端调用（如图2所示）。

然而，在强监管的形势下，如何实现金融行业之间的数据互通共享，并在此基础上联合建立适用于金融行业的行业大模型，仍然是一个值得探讨的问题。联邦学习、隐私计算或是可行的方案，但具体的落地实施还需要在监管部门的指引下进一步探索和创新。

总而言之，大模型在金融科技应用场景上还有待进一步发掘，但目前仍存在成本高收益小的问题。面对新的技术浪潮，中小城商行应该持续跟踪技术的发展及同业的动态，紧跟步伐，确保自身不在这一技术浪潮中掉队。