“TradExpert: Revolutionizing Trading with Mixture of Expert LLMs”
人工智能与金融分析的融合，推动了金融领域的创新。传统金融模型主要依赖统计分析和时间序列预测，难以处理非结构化数据。LLMs能够解读复杂的金融数据，能更好地理解和预测市场动态。
本文提出TradExpert框架，结合MoE方法，利用多个专注于不同金融数据的LLM（如新闻、市场数据、因子和基本面数据）。每个专家独立分析数据，最终由通用专家整合分析结果，模拟现实中的分工。
TradExpert在DOW 30股票池中实施了基于Top-K股票的买入持有策略。TradExpert在所有指标上表现优越，年回报率（AR）为49.79%，年波动率（AV）为9.95%，夏普比率为5.01，显示出高回报与低风险的结合。
论文地址：https://arxiv.org/pdf/2411.00782
摘要
TradeExpert是一个新框架，利用混合专家（MoE）方法，结合四个专门的LLM，分析不同的金融数据源（新闻、市场数据、阿尔法因子、基本面数据）。专家LLM的见解由一个通用专家LLM综合，以做出最终预测或决策。TradeExpert可在预测模式和排名模式之间切换，用于股票走势预测和量化交易。除了现有基准，本文发布了一个大规模金融数据集以评估TradeExpert的有效性。实验结果显示TradeExpert在所有交易场景中表现优越。
简介
人工智能与金融分析的融合，特别是大型语言模型（LLMs）的应用，推动了金融领域的创新。LLMs能够解读复杂的金融数据，因金融市场不仅是数字，还涉及新闻、报告和经济指标的复杂信息系统。传统金融模型主要依赖统计分析和时间序列预测，难以处理非结构化数据。发展出专门的金融语言模型（如FinBERT、BloombergGPT、FinGPT），这些模型经过特定金融语料的预训练，能更好地理解和预测市场动态。尽管有进展，如何有效整合历史股价、阿尔法因子、基本面数据和新闻等多种数据源仍是挑战。
本文提出TradExpert框架，结合Mixture of Experts (MoE)方法，利用多个专注于不同金融数据的LLM（如新闻、市场数据、因子和基本面数据）。每个专家独立分析数据，最终由通用专家整合分析结果，模拟现实中的分工。采用重编程机制将时间序列数据转换为与LLM对齐的嵌入。提供两种模式：预测模式（股票走势预测）和排名模式（基于预测选择Top-K股票）。
本文发布大规模金融数据集，作为新的基准。实验结果显示TradExpert在所有交易场景中优于现有基线，消融研究验证了各模块的有效性。
相关工作
金融语言模型近年来显著进步，结合NLP技术与金融分析，从大量非结构化金融数据中提取有意义的洞察。FinBert是基于BERT的金融领域特定模型，BloombergGPT是2023年推出的50亿参数模型，FLANG引入了专门的掩码和目标。Astock平台研究NLP辅助的中国市场股票自动交易算法，BBTFinT5推动了中文金融NLP，FinMA展示了多任务指令数据集的微调模型。FinGPT提供了金融LLM的开源框架，InvestLM展示了指令调优在投资任务中的有效性，FinReport实现了自动财务报告生成。AlphaFin结合检索增强生成技术进行金融分析，展示了金融NLP模型和基准的演进。股票运动预测方面，StockNet利用文本和价格信号，SLOT通过自监督学习处理稀疏推文数据，CH-RNN结合社交文本和跨模态注意力机制。最近研究（Lopez-Lira和Tang 2023；Chen等2023）探讨了ChatGPT在股票运动预测中的应用，比较其与传统模型的表现。
问题建模
研究目标。利用大型语言模型（LLMs）进行股票交易，预测股票价格走势。
输入数据。包括新闻、市场数据（OHLCV）、阿尔法因子和基本面数据（如财报）。
任务1。基于多种数据源预测股票价格涨跌，构建模型 f θ 使其输出“上涨”或“下跌”。
任务2。模拟股票交易，评估基于 TradExpert 的买入持有策略，使用年化收益、夏普比率、年化波动率和最大回撤等指标。
数据集
收集了涵盖四个主要组成部分的综合数据集：新闻、市场数据、阿尔法因子和基本面数据。数据覆盖时间为2020年1月1日至2023年12月31日，共4年。
统计
新闻数据。包含524,995篇S&P 500股票相关的金融新闻，平均596.4字/篇。
市场数据。提供481,484条S&P 500股票的历史日OHLCV记录。
Alpha因子。包含108个技术指标和因子，预测股票价格变动。
基本面数据。包括来自Seeking Alpha的季度财报电话会议记录和财务报表，涵盖每股收益（EPS）、市盈率（P/E Ratio）、每股账面价值（BVPS）等基本指标。
数据划分
数据集按时间顺序分为训练集、验证集和测试集，以确保未来数据在训练过程中未被使用。
训练集：2020年1月1日至2022年6月30日。
验证集：2022年7月1日至2022年12月31日。
测试集：2023年1月1日至2023年12月31日。
方法
提出TradExpert框架，利用MoE LLMs方法，四个专家LLM处理不同金融数据源。一般专家LLM综合四个专家LLM的摘要，生成最终输出。所有专家LLM基于LLaMA2-7B，采用LoRA机制进行监督和微调。训练前对原始数据集进行预处理，构建提示、指令和真实响应。
新闻分析
新闻分析LLM旨在分析新闻文章以预测股票走势。输出包括股票运动预测和基于Chain-of-Thought (CoT)的推理。Ground-truth推理由OpenAI GPT-4 API生成，结合实际股票运动和新闻文本。
市场分析
市场分析LLM专注于分析历史OHLCV数据以预测股票走势，但时间序列数据与LLM的离散结构不匹配，造成使用上的挑战。采用重编程机制将OHLCV数据转化为文本原型表示。OHLCV数据实例X(i)被划分并嵌入为补丁嵌入XP，利用文本原型E'进行重编程。通过多头交叉注意力机制生成重编程补丁的嵌入O(i)，并将其投影到LLM的隐藏维度。最终，重编程嵌入与TSFresh提取的统计描述结合，作为Alpha Expert的提示。
Alpha分析
Alpha Expert专注于处理基于表达的alpha因子，这些因子是预测股票价格变动的技术指标和算法生成的因素。利用GPT-4理解复杂表达，生成每个因子的语言描述，构建Alpha数据库。每个alpha记录包含：表达式（基于OHLCV数据的计算公式）和描述（由GPT-4生成）。计算所有alpha因子的值后，通过LightGBM模型得出综合评分，选择对评分贡献最大的Top-K alpha。从数据库中检索Top-K alpha的描述，并与计算值一起用于Alpha Expert的提示和指令。
基本面分析
基本分析师LLM专注于分析基本数据，如财报电话会议记录和财务指标，以预测季度股票价格变动。其预测程序与新闻分析师LLM相似，但基本数据每季度更新，因此预测针对下一个季度。预测结果分为五类：“强上涨”、“中等上涨”、“无变化”、“中等下跌”或“强下跌”，并附有理由。提供的总结报告用于判断股票在接下来的天内是上涨还是下跌。对于两个股票的总结报告，需判断哪个股票在接下来的天内表现更好。
通用专家
通用专家LLM有两种模式：预测模式和排名模式。预测模式用于股票走势预测，输出股票涨跌的二元预测。排名模式用于股票交易，通过比较两只股票的表现来确定排名。使用放宽的比较排序算法（类似于冒泡排序）进行Top-K排名，尽管复杂度为O(N²)，但更多比较能提高准确性。通用专家LLM同时在股票预测和比较任务上进行微调。
实验
评估TradExpert框架的两个主要任务：股票走势预测和股票交易模拟。研究问题包括：
TradExpert在股票走势预测中的表现与现有基线的比较。
TradExpert在真实市场回测中的潜在利润和风险。
TradExpert对非结构化数据的推理能力的有效性。
TradExpert框架中每个专家的重要性。
选择放松比较排序算法的原因。
数据集
使用两类数据集进行实验：
基准数据集：包括CIKM18、ACL18和BigData22等公开可用的数据集。
专有数据集：包含历史OHLCV数据、新闻文章、阿尔法因子和基本面指标。
实验设置
TradExpert基于LLaMA-2-7B模型，通过LoRA机制进行微调。
股票运动预测。TradExpert以预测模式工作，提供股票涨跌的二元预测，评估指标包括准确率（Acc）和马修斯相关系数（MCC）。
股票交易模拟。TradExpert以排名模式工作，比较并排序股票，通过Top-K股票执行交易，评估指标包括年化收益率（AR）、夏普比率（SR）、年化波动率（AV）和最大回撤（MD）。
基线
股票运动预测基线模型：
混合模型：StockNet, ALSTMW, ALSTM-D, SLOT。
大型语言模型：GPT-4, Gemini, LLaMA2-70B, LLaMA3-8B, FinMA-7B, FinGPTLlaMA2-7B, InternLM7B, Falcon-7B, Mixtral-7B。
股票交易模拟基线模型：
传统模型：随机森林, 决策树, 支持向量机。
深度学习模型：A2C, PPO, SARL, EIIE, DeepTrader。
数据集。所有方法在道琼斯30只股票上进行回测，以降低计算成本。
结果
股票走势预测。实验中使用了多个基线模型，除了闭源模型SLOT外，其他模型均为自实现或开源代码。TradExpert-NM（结合News Analyst和Market Analyst）在所有数据集上表现优于其他模型，除了ACL18的MCC。SLOT在ACL18上表现突出，得益于全球市场指导。InternLM在S&P500数据集上表现优异。S&P500数据集包含较长的新闻文章，导致TradExpert-7B-NM在该数据集上有显著提升。
股票交易模拟。在2023年1月1日至12月31日的回测中，TradExpert在DOW 30股票池中实施了基于Top-K股票的买入持有策略。TradExpert在所有指标上表现优越，年回报率（AR）为49.79%，年波动率（AV）为9.95%，夏普比率为5.01，显示出高回报与低风险的结合。传统模型中，XGBoost回报较高但波动性和回撤也大，风险较高。深度学习模型普遍优于传统模型，DeepTrader表现最佳，回报和夏普比率最高。
消融分析
专家影响评估。通过移除特定专家，评估TradExpert框架中各专家的效果。市场分析师和新闻分析师对盈利和风险管理影响最大，Alpha专家影响较小，基本面分析师对日交易指标影响最小但提供长期稳定性。
结构化数据推理有效性。将TradExpert-MA与传统模型（基于OHLCV数据和alpha因子）进行比较，结果显示TradExpert-MA在RankIC和RankICIR指标上优于传统alpha组合，体现了其推理能力。
排名算法选择。TradExpert采用Top-K排名，尽管计算复杂度较高，但由于LLM比较器的非传递性，更多比较带来更准确的排名，优于QuickSort和BubbleSort等其他算法。
总结
TradeExpert是一个新框架，利用大型语言模型（LLMs）提升股票交易策略，通过整合多个专门的LLM，提供全面的金融数据分析，超越传统金融模型。未来计划将TradeExpert应用于高频交易，并扩展到更多全球市场。
限制。TradeExpert的处理时间平均为4.7秒，虽然适合日常交易，但在高频交易中存在延迟问题。
