大语言模型在金融领域的应用:进展、前景与挑战（二）
大语言模型在金融领域的应用:进展、前景与挑战（一）
书接上文
3. 大语言模型在金融领域的主要应用
3.1 语言任务
语言方面的任务不用说了，NLP领域是大模型的关键应用方向。也是号称大模型可以产生颠覆效果的领域。这一方向其实已经覆盖了原有的NLP在金融行业领域使用的绝大多数场景。
3.1.1 文本摘要和信息抽取
最近的研究有效地利用LLM来总结和提取金融文档信息。鉴于这些金融文档通常很长,可能超出许多LLM的令牌限制,各种研究引入了通过将长文档划分为更短的片段或利用特定模型来应对处理大量金融文本挑战的框架。最近,Yepes等人提出了一种扩展的方法,通过使用结构元素而不仅仅是段落来分块文档用于检索增强生成(RAG),在不需要调优的情况下改进了分块大小的确定。此外,一些论文提出将长报告分成十个不同的部分,如管理层讨论与分析、财务亮点和业务概览,以简化摘要过程。类似地,Khanna等人利用Longformer-Encoder-Decoder (LED)模型,这是Beltagy等人首次引入的Transformer架构,它采用了一种随序列长度可扩展的自注意力机制,使其适用于分析长篇财务报告。
除了处理文档的长度,研究还扩展到多语言和特定领域的挑战。这包括总结多种语言的金融文档;定制语言模型以应对日语金融术语的适应挑战;在没有人工标注的情况下,自动微调加密货币领域的文本摘要模型;采用多任务学习策略来分类、检测和总结财务事件;应对确保财务信息提取准确性和减少错误的挑战;提取年度报告信息以增强股票投资策略。
3.1.2 金融报告分析
尽管LLM在处理金融文本数据方面的有效性,但它们经常面临包含图像、图表和表格的PDF文档格式的挑战。这一挑战可能源于其主要基于文本的性质,难以解释对于理解此类多模态文档至关重要的复杂空间布局。一种简单的方法是将PDF文件转换为机器可读的纯文本。例如,在Yue等人提出的自动财务信息提取(AFIE)框架中,使用PLAIN序列化将表格转换为文本。该方法使用空格和换行符分别分隔单元格和行。这有效地将表格数据与常规段落集成在一起,供LLM统一处理。
然而,这种转换过程可能会改变文档的空间布局,并可能导致丢失嵌入在图表或表格中的关键信息。为了解决这个问题,摩根大通的团队开发了DocLLM,这是一种专门为多模态文档理解而设计的布局感知生成语言模型。DocLMM利用边界框信息来理解文档内元素的空间排列。它通过修改Transformer中的注意力机制,专注于文本和空间模态之间的交叉对齐,从而增强文档理解。
命名实体识别在信息提取中起着至关重要的作用,是从各种金融来源提取有意义信息的关键子任务。在金融领域,它用于从新闻文章、财务报告和市场摘要中提取特定实体,如公司名称、金融术语、股票代码、财务指标和货币价值。这些信息对于金融下游任务至关重要,如行业分类、情感分析、信用评分、欺诈检测和合规报告。
传统上,命名实体识别通过基于规则的方法、机器学习技术或深度学习技术来实现。基于规则的方法依赖于手工制定的语言和语法规则。它们为定义良好的模式提供了高精度,但可扩展性有限。机器学习技术包括监督和非监督方法。监督方法利用一组全面的工程特征,如词级特征和列表查找,以及机器学习算法,如隐马尔可夫模型、决策树和支持向量机,来识别和分类文本中的实体。非监督学习方法通过采用聚类、利用词汇资源和模式以及分析语料库统计来提取和分类命名实体。虽然机器学习提供了灵活性并且可以处理多种数据类型,但它在很大程度上依赖于监督学习的标记数据的可用性,并且在非监督学习中可能缺乏可解释性。深度学习方法利用先进的架构,如双向长短期记忆(BiLSTM)网络、基于自注意力的Transformer和用于标签解码的条件随机场(CRF),有效地从大型数据集中学习和表示单词和字符级特征。这些方法通过捕获文本中复杂的模式和长距离依赖关系,显著提高了模型性能。
随着深度学习方法的出现,LLM现在越来越多地用于金融领域的命名实体识别。LLM利用大量预训练知识和复杂语言理解的能力,可以显著提高复杂金融文本中实体识别的准确性和效率。最近,Hillebrand等人提出了KPI-BERT,这是一个新的系统,利用NER和关系提取(RE)的先进技术来识别和连接德语金融文档中的关键绩效指标(KPI),如"收入"或"利息支出"。该系统依赖于基于BERT的端到端可训练架构。它结合了RNN和条件标签掩码进行序列实体标注,然后进行关系分类。进一步的研究利用LLM进行NER,以提高XBRL(可扩展业务报告语言)标记的效率和准确性;识别类似的同行公司;检测负面新闻信息的关键实体;提取实体的相关短语。
尽管LLM表现出卓越的泛化能力,但在处理长篇金融文档时,它们有时会带来较高的训练和推理成本。为了解决这些问题,Zhou等人提出了UniversalNER,这是一个模型,采用针对性蒸馏和以任务为中心的指令微调来训练开放NER的经济高效的学生模型。这种方法不仅降低了计算负担,而且在没有直接监督的情况下实现了显著的NER准确性。
3.1.3 自动问答系统
在金融文本分析中,从文档中总结和提取关键信息对于快速理解和处理冗长复杂文本中的重要数据至关重要。在提取相关信息之后,下一步是利用这些信息来解决下游金融任务。本节将介绍这一应用中的两个主要活动:构建金融关系和文本分类。这些工作对于利用提取的信息来增强金融领域的决策和分析过程至关重要。
构建金融关系,特别是通过使用知识图谱,代表了一种强大的方法,用于组织提取的实体及其相互关系,并理解广泛而复杂的金融数据集。知识图谱由关于实体(对象、事件、人等)、这些实体的属性以及将它们链接在一起的关系的互连描述性结构组成。这个框架提供了一种结构化的方式来表示数据中的关系,并能够从中得出复杂的分析。在识别和提取实体(如公司、个人、金融工具、事件等)以及这些实体之间的关系(如所有权、交易、法律纠纷等)之后,可以将这些信息系统地组织成图形格式以进行进一步构建。在知识图中,实体被表示为节点,关系被表示为连接这些节点的边。这种结构提供了一种可视化和可编程的方法来探索和理解金融生态系统中不同实体之间的联系。通过构建知识图,金融分析师和系统可以采用图分析和机器学习算法来发现见解、识别模式并预测未来事件。
最近的进展促使研究人员探索使用LLM提取的信息来构建和分析金融领域的知识图谱的潜力。值得注意的是,Trajanoska等人通过利用LLM从可持续发展报告中提取结构化的环境、社会和治理(ESG)信息,采用节点-边-节点的三元组格式生成知识图谱,以实现对企业可持续实践的更深入分析和理解。类似地,Cheng等人开发了一个语义-实体交互模块。该模块结合了语言模型和条件随机场(CRF)层,以理解文本中实体及其语义上下文之间的交互。它可以从经纪研究报告中自动构建金融知识图谱,而无需明确的金融知识或广泛的手动规则。
此外,金融研究分析师在研究复杂的金融主题时,经常面临识别关键文件、关键实体和重要事件的挑战。Mackie和Dalton通过开发自动化方法从文档和实体创建详细的特定查询知识图来解决这些问题。
如上所述,知识图在信息检索中展示了其实用性。该领域的一个特例是将自然语言(NL)翻译成图查询语言(GQL)。通过利用知识图中的关系数据,这一过程增强了查询体验,提供了优于传统文本到SQL方法的优势。然而,这种方法面临着准确映射NL到GQL语法的复杂性以及缺乏特定领域示例的挑战,使得很难在专业领域微调LLM以精确对齐图数据库。为了解决这个问题,Liang等人开发了一个流水线,采用LLM从金融图数据库生成NL-GQL对,而无需标记数据。这一过程涉及使用ChatGPT创建模板对,并通过自我指导方法对其进行细化。随后,使用LoRA技术对LLM进行微调,使模型与图数据库中包含的特定知识保持一致。
知识图还可以用来显著增强问答系统。Wang等人引入了一种创新的基于知识图提示(KGP)的多文档问答(MD-QA)方法。他们的方法从多个文档构建知识图,突出了段落或文档结构之间的语义或词汇关系。然后,基于LLM的图遍历代理使用此知识图收集上下文相关信息,从而提高LLM回答问题的准确性。
知识图的另一个有益方面是它们能够随着时间的推移通过使用LLM得到丰富。Li提出了FinDKG,这是一个在金融领域使用LLM的动态知识图。FinDKG在其结构中融入了时间层,允许它反映和适应金融市场、经济指标和主题趋势的变化。这种动态方法为主题投资提供了宝贵的见解,使得识别和利用长期行业变革和经济趋势进行战略投资决策成为可能。
还有其他使用LLM进行金融关系提取的研究,尽管不一定用于知识图构建。Ghosh等人提出了Mask One At a Time(MOAT)框架,该框架一次掩码一个实体,使用特定领域语言模型(SEC-BERT)提取上下文嵌入,并将这些嵌入与额外特征结合以训练神经网络,以准确分类金融实体之间的关系。类似地,Rajpoot和Parikh采用GPT模型进行上下文学习,利用无需学习的密集检索器(基于OpenAI嵌入的KNN),通过嵌入的相似性找到最相关的示例,以及一个基于学习的检索器,通过估计给定输入和候选训练示例作为提示的输出概率,训练用于为每个测试示例选择训练集中最相似的示例。针对中文多类型金融事件关系提取,Wan等人提出了CFERE框架,该框架采用核心动词链进行事件识别,构建句法语义依赖解析图将事件组合成对,并用事件核心嵌入层增强BERT以捕获语义含义。这些研究展示了LLM和创新关系提取方法的潜力,最终有助于利用金融信息的研究价值,帮助投资者做出更好的投资决策。
文本分类在组织和理解金融领域大量非结构化数据方面发挥着关键作用。这一分类任务可以进一步分为几个子任务,如行业/公司分类和文档/主题分类。通过有效地对这些信息进行分类和组织,企业和研究人员可以提取有价值的见解并做出明智的决策。这些分类技术与建立金融关系相结合的使用,对于利用提取的信息来增强金融领域的决策和分析过程至关重要。
公司或行业分类涉及根据共同特征(如业务活动和市场表现)将公司分组为不同类别,目的是创建连贯且有区别的组。识别相似的公司概况是金融领域的一项基本任务,应用范围涵盖投资组合构建、证券定价和金融风险归因。传统上,金融分析师依赖行业分类系统,如全球行业分类标准(GICS)、标准行业分类(SIC)、北美行业分类系统(NAICS)和Fama French(FF)模型,来识别具有相似概况的公司。然而,这些系统不提供根据相似度对公司进行排名的方法,并且需要领域专家进行耗时、费力的手动分析和数据处理。
最近,贝莱德的一个团队探索了使用LLM进行公司分类的新方法。他们研究了使用预训练和微调的LLM根据SEC文件中的业务描述生成公司嵌入的方法。他们的研究旨在评估嵌入重现GICS分类的能力、在各种下游金融任务上对LLM性能进行基准测试,并检查预训练目标、微调和模型大小等因素对嵌入质量的影响。结果表明,LLM生成的嵌入,特别是来自微调的Sentence-BERT模型的嵌入,可以准确地重现GICS部门和行业分类,并在根据收益相关性识别相似公司和解释横截面股票收益等任务上优于它们。
有趣的是,知识图也可以用来丰富行业分类并提高特定领域文本分类任务的性能。Wang等人提出了一种新颖的知识图丰富BERT(KGEB)模型,该模型将来自本地知识图的外部知识与词表示相结合。通过基于在中国全国中小企业股份转让系统(NEEQ)上市的公司构建大型数据集,并表明KGEB模型优于竞争基线(包括图卷积网络、逻辑回归、TextCNN、BERT和K-BERT),实现了91.98%的准确率和90.89%的F1分数,他们证明了其方法的有效性。
文档或主题分类是金融领域文本分类更广泛范围内的另一个关键子任务。这项任务涉及将金融文档或文本(如新闻文章或公司文件)分类到预定义的主题或主题中。Alias等人提出了一种新颖的方法,利用FinBERT模型从马来西亚交易所(Bursa Malaysia)上市公司的年度报告中提取和分类关键审计事项(KAM)的相关主题。同样,Burke等人微调了FinBERT模型,以分类三个未标记财务披露中的会计主题,包括财务报表的自定义注释、管理层讨论与分析部分以及风险因素部分。
金融领域的另一项重要分类任务涉及对环境、社会和治理(ESG)信息进行分类。这项任务需要从多个来源(包括企业可持续发展报告、新闻文章和社交媒体帖子)中识别和分类ESG相关数据,如碳排放、多样性和包容性以及公司治理实践。在最近的一项研究中,Lee和Kim提出了一个ESG分类器,可以通过微调预训练的语言模型来区分ESG信息。该分类器在由韩国五个行业的公司可持续发展报告构建的人工标注数据集上进行训练,在四类分类问题(环境、社会、治理和中性)上实现了86.66%的分类准确率。类似地,Mehra等人开发了一个名为ESGBERT的特定领域语言模型,通过使用ESG特定文本微调BERT的预训练权重,并进一步微调模型以执行分类任务,以增强ESG相关文本的分类。
文本分类技术,包括行业/公司分类和文档/主题分类,在组织和理解金融领域大量非结构化数据方面发挥着至关重要的作用。LLM和知识图整合的最新进展显著提高了这些分类任务的准确性和效率。成功应用这些技术可以进一步提供有价值的见解,并支持各种金融环境中的明智决策,如投资组合构建、风险评估和ESG分析。
3.2 情感分析
情感分析是NLP领域的一个关键组成部分,也是金融应用中最重要的任务之一。它涉及对文本数据中表达的观点、情感、主观性和情感进行定量探索。这项任务在金融应用中获得了特殊的意义,因为对市场情绪的解释可以引导有影响力的预测和行动。它的发展反映了NLP领域的更广泛进步,从基于规则的系统过渡到复杂的机器学习模型,以及最近利用大型预训练语言模型的深度学习方法。
3.2.1 传统情感分析方法回顾
如上面的分类图,基本涵盖NLP情感分析的重要里程碑式的领域,直到ChatGPT和BERT等LLM革新该领域之前的时代。此外,也主要强调了金融领域内的主要应用,展示了情感分析对各种应用的影响。那么，之前的时代主要的情感分析方法有哪些呢？我试着概括一下吧。
基于词典的方法:早期的情感分析依赖于基于词典的方法,其中文本的情感是根据预定义词语的存在来推断的,这些词语与积极或消极的情感相关联。这些方法简单而有效,适用于某些应用,包括General Inquirer、语言查询和单词计数(LIWC)词典、SO-CAL以及Loughran和McDonald的(LM)单词列表。
基于词典的方法的优势之一是其简单性和可解释性。然而,它们的性能可能受到情感表达的上下文依赖性以及无法捕捉复杂语言结构(如讽刺或反讽)所表达的情感的限制。尽管存在这些局限性,基于词典的方法已经在金融领域得到有效应用,特别是在分析金融新闻或社交媒体内容中的投资者情绪方面。
机器学习方法:随着机器学习的出现,金融情感分析(FSA)经历了显著的进步。基于ML的方法可以大致分为监督学习和非监督学习。在进行FSA时,监督学习方法需要标记数据,包括支持向量机(SVM)、朴素贝叶斯、KNN(K-最近邻)、随机森林和多层感知器(MLP)等技术。相比之下,无监督学习不需要标记数据,通常涉及聚类技术来辨别情感。
在金融领域,ML已被用于根据金融新闻和社交媒体中的情感预测市场走势,展示其捕捉金融情感细微差别的能力。机器学习方法的优势在于能够捕捉基于词典的方法无法发现的复杂数据模式。然而,它们需要大量数据集进行训练,并且在特定领域的通用性有限。
基于嵌入的方法:词嵌入的引入标志着通用情感分析的一个重要里程碑。基于嵌入的方法在高维空间中表示文本信息,在该空间中语义相似的词语更接近。这种表示不仅捕获情感,还捕获词语的上下文,从而提高情感分析任务的性能。Mikolov等人在2013年推出Word2Vec是该领域的一项开创性发展。Word2Vec采用神经网络从大型数据集中学习词语关联,生成捕捉各种语言关系和细微差别的嵌入。Word2Vec的创新之处在于其能够从庞大的数据集中有效地学习高质量的词向量。它提供了两种架构来实现这一目的:连续词袋(CBOW)和Skip-gram。CBOW从上下文词预测目标词,而Skip-gram则相反,从目标词预测上下文词,使其特别适合捕捉词语的语义和句法关系。
在Word2Vec之后,又出现了其他几种嵌入模型,进一步推进了该领域的发展。其中值得注意的是Global Vectors for Word Representation(GloVe),它引入了一种无监督学习算法,通过聚合来自语料库的全局词-词共现统计来获得词的向量表示;FastText通过考虑子词信息扩展了Word2Vec,从而增强了对稀有词的表示;Embeddings from Language Models(ELMo)利用双向语言模型生成上下文丰富的词嵌入。
除了词级嵌入,还有一种推动捕捉更长上下文依赖关系的趋势。这一领域的一个典范是Le和Mikolov引入的Doc2Vec,也称为Paragraph Vector。Doc2Vec将Word2Vec范式扩展到支持文档级嵌入,使其能够捕捉文档范围的上下文信息,这对于需要理解长篇文本内容的任务至关重要。通过从可变长度的文本片段中学习固定长度的特征表示,Doc2Vec促进了对文档语义的更深入理解,从而扩大了嵌入技术在情感分析及其他领域的适用性。
基于嵌入的方法的优势在于捕捉上下文复杂性和词语之间的语义关系,显著提高了情感分析的准确性。这使得它们在FSA中也很受欢迎。Sohangir等人强调了这些方法在金融领域的有效性,展示了它们从大量非结构化金融数据中以高准确性提取情感的能力。
然而,它们也不是没有缺点。一个显著的限制是它们对大型训练数据集的依赖,这在专业领域中可能并不总是可行的。此外,虽然擅长语义理解,但它们可能忽略语法的细微差别,并需要重新训练以适应新的语言用法或词汇。预训练的嵌入也可能延续其训练数据中存在的偏见,导致公平性和代表性方面的潜在问题。尽管存在这些挑战,基于嵌入的方法对于推进自然语言理解至关重要,并为BERT和GPT-3等大型语言模型铺平了道路,这些模型在这些嵌入的基础上实现了最先进的NLP性能。
3.2.2 基于大语言模型的情感分析
ChatGPT和其他LLM的出现代表了FSA领域的一个关键里程碑。如今,这些模型在许多任务中都显示出了有效性,并为FSA应用提供了几个独特的优势。
最令人感兴趣的是,LLM擅长破译金融语言的复杂性,熟练地驾驭社交媒体和金融博客中的非正式表达、表情符号、迷因和专业术语。它们识别讽刺、讽刺和特定部门行话等细微差别的能力对于准确分析从推文到综合财务报告等各种形式的情感至关重要。
随着大模型能力的进一步发展,LLM处理多模态数据(包括图像、音频和视频)的能力对于收益电话会议和FOMC会议等金融情境下的全面情感分析至关重要。这一能力允许将非语言线索和视觉数据整合到情感分析过程中。
从劳动能力的角度,LLM处理广泛文档的能力使得能够对详细的财务报告和冗长的文章进行彻底分析,确保不会忽略任何带有情感的信息。这一特点对于评估年度报告、收益记录和广泛的财务叙述中表达的情感特别有利。
还有,LLM表现出增强的对抗攻击或欺骗性信息策略的抵抗力,这些攻击或策略可能在FSA任务中遇到。它们的高级算法和更广泛的上下文理解有助于识别和缓解误导性或操纵性情感指标,增强情感分析结果的可靠性。Leippold强调了传统的基于关键词的情感分析方法和LLM在面对对抗性攻击时的区别。该研究使用GPT-3将负面词替换为同义词来评估模型的稳健性,展示了FinBERT相对于传统的基于关键词的方法对对抗性攻击的增强抵抗力。
3.2.3 数据驱动的情感分析应用
通过进一步深入探讨LLM在FSA中的整合的最新进展,根据不同的数据源分类分析其影响和贡献。可以将数据分为四个关键部分开始这一探索:社交媒体和新闻、公司披露、市场研究报告以及政策和经济指标。这种结构化方法能够全面了解LLM如何革新FSA领域,提供前所未有的洞察力和分析能力。
社交媒体和新闻:社交媒体平台(如Twitter)、一般在线论坛(如Reddit)和特定金融论坛(如StockTwits),以及金融博客和微博客,已成为FSA的丰富数据源。这些平台之所以至关重要,是因为它们拥有丰富的实时非结构化文本内容,反映了公众对金融市场、特定股票和整体经济环境的情绪。这些平台上讨论的即时性和公开性使其成为捕捉市场情绪的宝贵资源,这可能预示着未来的市场走势。Su等人利用BERT从Twitter中提取情感和语义洞察,促进了协方差估计的改进,增强了投资组合优化。将文本衍生的协方差数据整合到均值-方差优化中,在这项工作中产生了优越的性能,特别是在新冠疫情崩盘期间。此外,Steinert和Altmann采用GPT-4对Stocktwits平台上的微博消息进行情感分析,大幅超过了苹果和特斯拉股票的天真买入并持有策略,凸显了LLM通过情感分析预测股价走势的潜力。尽管LLM在情感分析方面的功效,社交媒体来源呈现独特的挑战,包括信息量巨大、经常使用口语化语言、可能存在选择性偏差,以及共享信息中存在错误信息或不准确性,这使准确捕捉和解释市场情绪的任务复杂化。
新闻代表另一个关键的数据源,它在快速传播和广泛影响方面与社交媒体有许多相似之处,但它通常更侧重于客观事件。与社交媒体常常主观和个人化的性质相反,新闻内容通常来自更负盛名和知名的媒体机构,包括著名的报纸(如《纽约时报》)、电视广播公司(如CNN和BBC),以及特定金融出版物(如《经济学人》)。这些机构的记者和作者的可信度和专业性赋予内容更高的可信度,尽管有时以及时性为代价。越来越多的证据支持后ChatGPT时代的LLM相对于早期方法的优势,特别是在分析新闻标题的情感方面。Lopez-Lira和Tang研究了ChatGPT预测股市收益的有效性,说明了它能够准确地为标题分配情感分数,并超越了GPT-2和BERT等早期模型。此外,Fatouros等人发现GPT-3.5在分析外汇相关新闻标题方面比FinBERT有相当大的改进。同样,Luo和Gong报告了开源Llama2-7B模型的显著成功,其性能超过了之前基于BERT的方法和传统方法(如带有ELMo的LSTM)。这些研究强调了先进LLM在决策和量化交易中的重要性。
在这个数字时代,实时新闻现象正变得越来越普遍。通过现场直播或在线平台传播,这些新闻来源在准确性和及时性之间取得了平衡,及时洞察可能影响金融情绪的市场状况和公共事件。Chen等人研究了使用BERT、RoBERTa和OPT等先进LLM进行情感分析和股票预测。这些模型通过捕捉复杂的文本信息并提供更准确的上下文理解,显著优于Word2vec等传统方法。它还表明,基于LLM的模型实现了更高的夏普比率和更好的性能。至关重要的是,该研究揭示,由于套利限制,新闻信息会延迟纳入股价,为实时交易策略利用这些低效率创造了机会。这凸显了LLM在实时金融文本挖掘中的潜力。
公司披露:公司披露在FSA中的重要性日益被认识。本节深入探讨了公司披露的三个主要类别:收益电话会议、公司通讯以及监管文件和法律文件(如SEC文件),每一类都因其重要性而备受关注,并附有相关研究。
收益电话会议对于提供对公司财务状况、战略方向以及管理层对绩效和未来前景看法的洞察至关重要。收益电话会议记录的情感分析可以揭示潜在的语气和情感,这可能影响投资者决策和市场认知。Cook等人评估了本地LLM在解释财务文本方面的表现,特别关注在大流行后时代和2023年初银行业压力期间分析银行收益电话会议的语气和内容。他们表明,本地LLM在分析金融沟通方面很有效,展示了银行压力加剧期间银行收益电话会议内容向更多同质性和较少积极情感的转变。Leippold利用GPT-3展示了金融情感分析对对抗性攻击的敏感性,强调LLM需要确保AI在金融文本处理中的可靠性。
公司通讯涵盖公司向利益相关者发布的各种官方声明、新闻稿和公告。这些通讯中蕴含的情感可能显著影响利益相关者对公司当前状态和未来前景的看法。LLM可以处理这些通讯以评估情感并识别潜在的市场动向信息。例如,Kim等人说明ChatGPT可以通过缩短长度和放大内容的情感,同时揭示财务报告中普遍存在的"臃肿"问题——即过多的、冗余的或无关的信息可能模糊投资者做出明智投资决策所需的真正见解,从而显著简化和澄清投资者的公司披露。
监管文件和法律文件对于合规、治理和透明度至关重要,提供了大量关于公司运营、风险和财务状况的信息。LLM可以处理这些复杂的文件并识别与情感相关的信息,如诉讼风险、会计违规和管理层变动。Aparicio等人介绍了BioFinBERT,这是一个微调的语言模型,利用监管文件和法律文档进行情感分析,如10-Q、10-K、6-K和20-F报告,以及生物技术公司新闻稿,以执行市场订单并预测生物技术领域的股价走势。另一篇论文研究了在AI时代,企业如何调整其监管披露以更易于机器阅读,影响财务市场中表达的情感和信息传播速度。
市场研究报告:市场研究报告包含广泛的数据,包括经济指标、行业分析和消费者行为,对金融领域的明智决策至关重要。分析师报告和投资研究的重要性在于其对证券的详细分析和建议,为市场趋势和潜在投资机会提供深刻理解。分析师评级,如"买入"、"持有"或"卖出"建议,提供了另一个简明评估证券未来表现的方式,为投资者提供了宝贵的指导。这些评级基于严格的财务分析,受到投资者的密切关注,用于评估市场情绪并做出战略投资选择。政策和经济指标:在金融情感分析领域,特别是关于政策和经济指标方面,重点主要放在对美联储公开市场委员会(FOMC)会议纪要、欧洲央行(ECB)政策决定以及其他关键指标(如非农就业数据、失业率、通胀率和GDP增长)的分析上。这些来源对于理解市场动态和基于政策决定和经济报告得出的情感指导投资决策至关重要。
FOMC会议纪要是了解美联储货币政策立场的重要信息来源。这些纪要详细记录了FOMC会议期间发生的讨论和审议,揭示了经济前景、通胀预期和潜在的利率变化。研究人员采用LLM来分析FOMC会议纪要的情感和基调。Kim等人研究发现,尽管FinBERT在预测FOMC声明中的负面情绪方面优于传统技术,但仍需要进一步的改进和探索替代方法来优化FOMC文本的分析,获得更全面的经济见解。Gössi等人提出了一个带有情感焦点方法的微调FinBERT模型,显著提高了FOMC会议纪要中复杂金融句子的情感分析准确性,特别是那些包含矛盾情感的连接词的句子。
ECB负责为欧元区制定货币政策,其政策决定对金融市场有重大影响。包括利率变化和资产购买计划在内的ECB政策决定受到投资者和分析师的密切关注。最近的研究利用LLM分析ECB政策决定对金融市场的情感和影响。利用FinBERT模型,Kanelis和Siklos发现货币政策演讲中的情感可以解释新闻发布会声明的基调,而金融稳定性演讲几乎没有解释力,突显了LLM在经济沟通中提供详细情感分析的能力。
除了FOMC会议纪要和ECB政策决定外,还有几个其他经济指标和研究论文与FSA相关。非农就业数据和失业率提供了对劳动力市场的洞察,可能对市场情绪产生重大影响。通胀率和GDP增长也是受到密切关注的指标,因为它们反映了经济的整体健康状况。将LLM应用于分析这些经济指标对金融市场的情感和影响值得进一步探索,以供未来研究。
3.3 金融时间序列分析
基于时序的大模型推测应用其实是可以上溯到用transformer做时序任务推测的应用案例。这个在前大模型时代就有很多。但是如何应用LLM在时序预测任务上，是需要深度研究的。曾经在一次交流中有top2的非科班研究团队提出将大模型应用在时间序列分析的思路，问到具体的技术细节，结果反馈就是硬用，而且不顾理论分析的强调肯定可用。虽然结果有可能也是有效的，但是作为一个研究团队来说，直接这么霸王硬上弓，还是莽了一些。希望我借助论文里出来的这些思路，能够为这个方向的研究者提供一些可供借鉴而且看起来似乎还很有道理的帮助吧。
3.3.1 LLM在时间序列分析中的应用
深度学习彻底改变了时间序列分析,为建模和预测序列数据提供了强大的工具。突出的深度学习模型如LSTM网络和CNN在捕捉时间序列数据中的时间依赖性和异常方面表现出显著的有效性。
随着最近LLM的普及,这些工具越来越多地被用于辅助时间序列任务。它们提供了多种辅助功能,如从文本数据生成附加特征和生成描述性统计,正如我在3.1和3.2节中讨论的那样,这些功能可以通过利用原始数据之外更广泛的信息来提高时间序列模型的准确性。
除了这些支持性角色,LLM还被用于直接分析时间序列数据,这一发展受到几个因素的支持。这主要归因于LLM理解和处理序列数据的能力,这是文本和时间序列的共同特征。此外,大多数LLM所基于的Transformer架构已被证明在各种时间序列任务中有效。此外,LLM表现出显著的多模态能力,表明即使仅基于文本的海量数据集上的预训练,也能赋予超出特定数据模态的一般推理和推理能力。这一特点不仅为LLM在时间序列分析中的直接应用提供了支持性证据,而且为未来的多模态基础模型铺平了道路。
几项引人注目的工作已经证明了LLM在时间序列分析中的功效。Zhou等人的开创性工作展示了LLM在预测、异常检测、分类和插补等任务中的多功能性。使用GPT-2主干,他们确立了LLM有效处理和建模时间序列数据的潜力。Gruver等人进一步探索了预训练LLM在时间序列预测中的零样本能力。通过对时间序列数据进行适当的标记化,他们发现LLM可以隐式理解时间模式并在没有明确训练的情况下生成预测。Jin等人将重新编程的概念应用于提高LLM在时间序列分析中的性能。这种技术将时间序列数据转换为LLM更容易理解的表示,从而获得最先进的预测结果。除了直接应用LLM,研究人员还专注于开发专门用于时间序列分析的基础模型。这些努力旨在为时间序列建模建立一个新的范式,利用LLM技术的力量来捕捉复杂的时间依赖性。
3.3.2预测技术
最近的研究探索了LLM在金融时间序列预测领域的效用,展示了这些先进计算工具的潜力和局限性。本节回顾了关键研究,这些研究有助于了解如何将LLM应用于预测股市走势和其他金融指标。
LLM可以直接用于股票预测,如所述。他们的研究探索了LLM对纳斯达克100指数股票的预测,并表明,通过整合不同的数据源,LLM不仅提供了稳健的预测,而且增强了可解释性。该研究强调了基于指令的微调和思维链推理的重要性,这些方法已被证明可以显著提高LLM在该领域的性能,优于传统的统计模型。另一种方式是整合LLM以增强其他神经网络。Chen等人引入了一个框架,利用ChatGPT增强图神经网络(GNN)进行股票走势预测。他们的方法巧妙地从文本数据中提取演变的网络结构,并将这些网络整合到GNN中进行预测任务。实验结果表明,该模型始终优于基于深度学习的最先进基准,具有更高的年化累计收益和更低的波动性。
此外,LLM以其整合多模态数据分析的能力而著称,正如前一节所讨论的,这在分析替代数据时可能至关重要。例如,Wimmer和Rekabsaz引入了创新模型,利用文本和视觉数据来预测市场走势。利用基于CLIP的模型,他们的研究表明在预测德国股指趋势方面显著优于既定基准。精确度、F1分数、平衡准确度等指标显示了这些多模态方法的有效性。另一项值得注意的研究是RiskLabs框架,它结合了各种类型的金融数据,包括收益电话会议的文本和语音信息、与市场相关的时间序列数据以及情境新闻数据。该框架的多阶段过程从使用LLM提取和分析这些数据开始,然后处理时间序列数据以模拟不同时间范围内的风险。RiskLabs采用多模态融合技术将这些不同的数据特征结合起来,用于综合多任务金融风险预测。实证结果证明了该框架在预测金融市场波动率和方差方面的有效性,表明LLM在金融风险评估中的潜力。
然而,LLM在金融预测中的应用并非没有挑战。Xie等人专门评估了ChatGPT在零样本多模态股票走势预测任务中的表现,发现它在与传统机器学习模型和其他最先进技术相比时表现不佳。他们的研究结果强调了持续研究以提高LLM在复杂金融环境中预测能力的必要性。另一方面,Lopez-Lira和Tang研究了这些模型,特别是GPT-4,如何利用新闻标题作为输入来预测股市收益。他们的结果表明,先进的LLM显著优于传统模型和早期版本的LLM。值得注意的是,这些模型在负面新闻之后和对于较小股票时表现出更高的效力,这一现象可以通过信息扩散、套利限制和投资者成熟度理论来解释。关于LLM在金融预测中的有效性的争论仍在继续,有证据支持其局限性和潜力。
尽管早期存在挑战,但研究表明LLM在金融时间序列预测方面具有相当大的前景。可解释性、全面理解新闻和多模态集成成为未来研究和改进的引人注目领域。然而,它们也标志着挑战和进一步研究的必要性,以充分实现LLM在这一领域的潜力。
3.3.3 异常检测
异常检测是各个领域的一项基本任务,特别是在金融领域,识别异常模式或异常值至关重要。例如,识别欺诈交易或异常账户活动是金融机构的首要任务。异常检测算法可以标记潜在的欺诈行为,防止财务损失。此外,市场操纵计划,如拉高出货策略,可以通过对交易量和价格模式进行异常检测来发现。异常检测在风险评估和缓解策略中也很有价值,因为市场趋势或宏观经济指标中的异常可能预示着潜在风险。
金融时间序列数据,如股票价格,可能高度复杂,具有波动性、季节性和非线性关系等特点。传统的统计方法虽然稳健,但常常难以全面捕捉这些复杂性,从而限制了它们的异常检测能力。深度学习的发展催化了一场根本性的转变,提供了新的方法,有望在这一领域取得巨大进展。特别是,LLM已经成为一种关键方法,在许多任务中展示了非凡的异常检测功效,正如最近的学术著作所证明的那样。例如,Park引入了一个基于LLM的多Agent框架,将传统统计方法与AI驱动的分析相结合。这种创新融合通过应用于标准普尔500指数得到了体现,显示出金融市场异常检测的效率、精确度和自动化程度显著提高,从而减少了对人工干预的依赖。将LLM整合到金融时间序列异常检测中可能变得越来越有价值,它不仅有可能解决传统技术的局限性,而且还可以减少人工流程,增强利用市场异常的算法交易系统,为更复杂和自动化的交易系统铺平道路。
3.3.4其他时间序列任务
除了预测和异常检测,LLM的能力在金融时间序列分析的其他几个领域提供了前景广阔的潜力。
金融分类:金融时间序列可以根据趋势、波动性或其他特征分为不同的类别。LLM可以学习这些复杂模式并相应地分配标签。例如,它们可以将股票分类为"成长型"或"价值型",或识别不同的市场状况(看涨、看跌等)。LLM可以通过理解和预测指示特定金融行为的模式,有效地对金融时间序列数据进行分类。这包括我在3.2节中讨论的情感分析和3.3.3节中讨论的异常检测的应用。
数据增强:金融数据集的规模和可变性有限,有时会阻碍机器学习模型。生成式AI为数据增强提供了一条途径,它涉及生成可用于训练机器学习模型的合成数据,确保尽管原始数据集的限制,模型仍能保持稳健性。Nagy等人最近的一篇论文介绍了一种用于限价订单簿端到端建模的生成式AI模型,展示了使用令牌级自回归生成模型生成金融市场中逼真订单流的方法。该模型利用结构化状态空间层来有效处理长序列的订单簿状态和令牌化消息。该模型在近似数据分布和预测中间价格收益方面表现出色,表明生成式模型在高频金融强化学习中具有潜在应用。虽然这项工作侧重于生成式AI而不是直接采用LLM,但其方法和见解与金融时间序列数据增强相关,突出了生成式模型在该领域的多功能性。通过模拟各种市场情景,LLM可以帮助创建更丰富、更多样化的数据集,有助于构建更准确的预测模型。
插补:金融时间序列数据经常由于错误或不可用而存在缺失值。插补是指在金融时间序列中填充缺失或不完整数据点的方法。LLM凭借其卓越的生成能力,有很好的潜力来填补这些缺失值。这在维护金融数据分析的质量和连续性方面特别有用。准确的插补有助于避免由于数据中的空白而可能发生的偏差或不准确性,从而确保更可靠的金融评估和预测。
总之,LLM在金融时间序列分析中显示出巨大的潜力,在预测、异常检测、模式分类、数据增强、插补等方面提供了强大的能力。它们处理和理解复杂金融数据的能力为市场分析开辟了新的途径。随着LLM研究的进展,可以预期这些模型在金融时间序列领域的应用将继续取得进展。
arXiv:2406.19108v1 [cs.NE] 27 Jun 2024
