本文将介绍如何通过将LlamaIndex驱动的工具集成到CrewAI驱动的多智能体框架中，创建一个复杂的金融研究辅助智能体。
所需技术组件CrewAI：
CrewAI，一个创新的开放源代码框架，使用户能够利用智能代理协同工作的力量。与传统聊天机器人不同，这些代理具备协作、交换信息并作为一个团队处理复杂任务的能力。
设想一群专家和谐合作，每位成员拥有独特的专业知识和技能，但他们通过沟通和分工，实现了超越个人能力的成就。CrewAI将这种协作原则应用于人工智能领域。在这个框架内，每个具有独特优势和局限性的个体代理，在CrewAI的协调下相互作用，最终实现共同目标。
LlamaIndex：
LlamaIndex 是一个用户友好的框架，使开发者能够轻松利用自有数据构建基于 LLM 的应用程序。该全面框架包含高效索引、检索、提示创建和代理编排的关键模块。LlamaIndex 的主要应用之一是开发一个多功能的 QA 接口，能够综合知识并提供对复杂查询的全面回答。
GROQ:
Groq 是一个前沿平台，集硬件与软件于一体，以其卓越的计算速度、优异的质量和显著的能效而闻名。它配备了 LPU™ 推理引擎。
LPU 推理引擎，亦称为语言处理单元™，是一个尖端平台，包含硬件和软件组件，旨在提供无与伦比的计算速度、卓越的质量和出色的能效。这一革命性的端到端处理单元系统在为计算密集型应用提供快速推理方面表现卓越，尤其适用于如 AI 语言应用等序列组件，包括令人瞩目的大型语言模型（LLMs）。
金融研究分析师代理的实现步骤概述：
使用LlamaIndex构建RAG系统
将RAG查询引擎封装为LlamaindexTool，因为拥有适当的工具抽象是构建数据代理的核心。
研究型代理从股票数据中挖掘洞察
写作型代理根据提供的洞察撰写有见地且引人入胜的文章
定义研究型和写作型代理的任务及预期布局
采用Llama-3–70B作为大型语言模型
代码实现：
在Google Colab中使用高RAM CPU实现。
安装所需依赖项
!pip install llama-index
!pip install llama-index-llms-groq
!pip install llama-index-core
!pip install llama-index-readers-file
!pip install llama-index-tools-wolfram-alpha
!pip install llama-index-embeddings-huggingface
!pip install 'crewai[tools]'
设置LLM
from google.colab import userdata
from llama_index.llms.groq import Groq
groq_api_key = userdata.get('GROQ_API_KEY')
#
llm = Groq(model="llama3-70b-8192", api_key=groq_api_key)
#
response = llm.complete("Explain the importance of low latency LLMs")
print(response)
######################################Response############################
低延迟大型语言模型（LLMs）在需要实时或近实时处理的各种应用中至关重要。以下是低延迟LLMs重要的一些原因：
1. **交互系统**：在聊天机器人、虚拟助手和对话式AI等交互系统中，低延迟LLMs能够实现快速响应时间，使交互感觉更自然和人性化。这在用户期望即时响应的应用中尤为重要，如客户支持和语言翻译。
2. **实时决策制定**：在自动驾驶车辆、机器人或医疗诊断等应用中，低延迟LLMs可以实时处理和分析大量数据，实现快速决策和应对不断变化的情况。
3. **直播和广播**：低延迟LLMs可以在直播和广播应用中促进实时语言翻译、情感分析或内容审核，增强观众体验并确保及时内容交付。
4. **游戏和电子竞技**：在在线游戏和电子竞技中，低延迟LLMs可以通过更快的语言处理、情感分析和聊天审核来改善游戏体验，减少延迟并提高整体性能。
5. **医疗保健和紧急服务**：在医疗保健和紧急服务中，低延迟LLMs可以快速处理医疗记录、诊断条件并提供关键信息给医疗专业人员，挽救生命并改善患者结果。
6. **金融交易和分析**：低延迟LLMs可以快速分析大型数据集，实现高频交易、情感分析和风险评估，帮助交易员和分析师做出明智决策。
7. **网络安全**：在网络安全中，低延迟LLMs可以快速检测和响应威胁，如恶意软件、钓鱼攻击或DDoS攻击，减少攻击面并最小化损害。
8. **边缘计算和物联网**：随着物联网设备的激增，低延迟LLMs可以处理更接近数据源的数据，减少延迟并改善实时决策制定，如智能家居、城市或工业自动化。
9. **可访问性和包容性**：低延迟LLMs可以实现实时语言翻译、字幕和转录，提高残疾人士、语言障碍或听力障碍者的可访问性和包容性。
10. **竞争优势**：在许多行业中，低延迟LLMs可以通过更快的决策制定、改善客户体验和提高运营效率来提供竞争优势，最终推动业务成功。
为了实现LLMs的低延迟，研究人员和开发者正在探索各种技术，包括：
1. 模型剪枝和知识蒸馏
2. 量化和精度降低
3. 并行处理和分布式计算
4. 边缘计算和去中心化架构
5. 优化的硬件和软件设计
6. 缓存和记忆化
7. 惰性加载和即时编译
通过减少LLMs的延迟，我们可以在各种应用中解锁新的可能性，带来更好的用户体验、更高的效率和更强的决策能力。
## Crewai需要基于聊天的模型进行绑定
from langchain_openai import ChatOpenAI
chat_llm = ChatOpenAI(
openai_api_base="https://api.groq.com/openai/v1",
openai_api_key=groq_api_key,
model="llama3-70b-8192",
temperature=0,
max_tokens=1000,
)
下载数据
!wget "https://s23.q4cdn.com/407969754/files/doc_financials/2019/ar/Uber-Technologies-Inc-2019-Annual-Report.pdf" -O uber_10k.pdf
解析数据内容
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
from llama_index.llms.openai import OpenAI
import os
from langchain_openai import ChatOpenAI
#
reader = SimpleDirectoryReader(input_files=["uber_10k.pdf"])
docs = reader.load_data()
docs[1]
##############################################################
Document(id_='dd161725-2512-4b03-a689-accc69dc46d4', embedding=None, metadata={'page_label': '2', 'file_name': 'uber_10k.pdf', 'file_path': 'uber_10k.pdf', 'file_type': 'application/pdf', 'file_size': 2829436, 'creation_date': '2024-06-30', 'last_modified_date': '2020-03-31'}, excluded_embed_metadata_keys=['file_name', 'file_type', 'file_size', 'creation_date', 'last_modified_date', 'last_accessed_date'], excluded_llm_metadata_keys=['file_name', 'file_type', 'file_size', 'creation_date', 'last_modified_date', 'last_accessed_date'], relationships={}, text='69\nCountries\n10K+\nCities\n$65B\nGross Bookings\n111M\nMAPCs\n7B\nTripsA global tech \nplatform at \nmassive scale\nServing multiple multi-trillion \ndollar markets with products \nleveraging our core technology \nand infrastructure\nWe believe deeply in our bold mission. Every minute \nof every day, consumers and Drivers on our platform \ncan tap a button and get a ride or tap a button and \nget work. We revolutionized personal mobility with \nridesharing, and we are leveraging our platform to \nredefine the massive meal delivery and logistics \nindustries. The foundation of our platform is our \nmassive network, leading technology, operational \nexcellence, and product expertise. Together, these \nelements power movement from point A to point B.', mimetype='text/plain', start_char_idx=None, end_char_idx=None, text_template='{metadata_str}\n\n{content}', metadata_template='{key}: {value}', metadata_seperator='\n')
设置嵌入模型
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
# 加载 BAAI/bge-small-en-v1.5
embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5")
构建索引
index = VectorStoreIndex.from_documents(docs,
embed_model=embed_model,
)
构建查询引擎
query_engine = index.as_query_engine(similarity_top_k=5, llm=llm)
将查询引擎实例化为工具
CrewAI与LlamaIndex的全面工具包无缝集成，用于RAG（检索增强生成）和代理管道，实现高级基于搜索的查询等功能。以下是LlamaIndex提供的内置工具。
CrewAI中的工具是代理可以用来执行各种动作的技能或功能。
优势：
实用性：这些工具设计用于特定任务，如网络搜索、数据分析、内容生成和代理协作。
集成：这些工具无缝集成到代理的工作流程中，增强其能力。
可定制性：这些工具可以根据代理的独特需求进行定制，通过开发新工具或利用现有工具。
错误处理：这些工具具有强大的错误处理机制，确保平稳运行并最小化中断。
缓存机制：这些工具采用智能缓存来优化性能并最小化重复操作。
from crewai_tools import LlamaIndexTool
query_tool = LlamaIndexTool.from_query_engine(
query_engine,
name="Uber 2019 10K查询工具",
description="使用此工具查找2019年Uber 10K年度报告",
)
#
query_tool.args_schema.schema()
########################################
{'title': 'QueryToolSchema',
'description': '查询工具的架构。',
'type': 'object',
'properties': {'query': {'title': '查询',
'description': '查询工具的搜索查询。',
'type': 'string'}},
'required': ['query']}
实例化研究员和写作代理
重要代理参数：
角色： 定义代理在团队中的功能。它决定了代理最适合执行的任务类型。
目标： 代理旨在实现的个人目标。它指导代理的决策过程。
背景故事： 为代理的角色和目标提供上下文，丰富交互和协作动态。
LLM (可选)：表示将运行代理的语言模型。它从
OPENAI_MODEL_NAME环境变量动态获取模型名称，默认值为"gpt-4"。详细 (可选)：设置为
True时，内部记录器将提供详细的执行日志，有助于调试和监控。默认值为False。允许委托 (可选)：代理可以相互委托任务或问题，确保每个任务由最合适的代理处理。默认值为
True。
import os
from crewai import Agent, Task, Crew, Process
# 定义具有角色和目标的代理
researcher = Agent(
role="高级财务分析师",
goal="揭示不同科技公司的洞察",
backstory="""你在一家资产管理公司工作。
你的目标是了解Uber等科技股。""",
verbose=True,
allow_delegation=False,
tools=[query_tool],
llm=chat_llm,
)
writer = Agent(
role="科技内容策略师",
goal="撰写关于科技进步的引人入胜的内容",
backstory="""你是一位著名的内容策略师，以将复杂概念转化为引人入胜的叙述而闻名。
你将复杂的概念转化为引人入胜的叙述。""",
llm=chat_llm,
verbose=True,
allow_delegation=False,
)
定义相应任务
重要参数：
描述： 任务内容的清晰、简洁说明。
代理： 负责该任务的代理，可直接指定或通过团队流程分配。
预期输出： 对任务完成时所呈现结果的详细描述。
工具 （可选）：代理执行任务时可利用的功能或能力。
上下文 （可选）：指定其输出作为此任务上下文的任务。
# 为你的代理创建任务
task1 = Task(
description="""全面分析Uber在2019年的风险因素。""",
expected_output="完整的分析报告，要点形式",
agent=researcher,
)
task2 = Task(
description="""利用提供的洞察，撰写一篇引人入胜的博客文章，
突出Uber面临的主要挑战。文章应信息丰富且通俗易懂，面向普通读者。
使其听起来酷炫，避免使用复杂词汇。""",
expected_output="至少包含四个段落的完整博客文章",
agent=writer,
)
使用顺序流程实例化Crew。在此组装你的成员。
crew = Crew(
agents=[researcher, writer],
tasks=[task1, task2],
verbose=2,# 可设置为1或2以调整日志级别
)
启动代理工作流程
团队执行流程
顺序流程：任务逐一执行，实现工作流程的线性推进。
层级流程：由管理代理协调团队，分配任务并在继续之前验证结果。注意：此流程需要
manager_llm或manager_agent，并对于验证流程的顺利进行至关重要。
# 让团队开始工作！
result = crew.kickoff()
print("######################")
print(result)
##########################Response######################################
[2024-06-30 16:41:45][DEBUG]: == 工作代理：高级财务分析师
[2024-06-30 16:41:45][INFO]: == 开始任务：全面分析Uber在2019年的风险因素。
> 进入新的CrewAgentExecutor链...
我需要了解2019年Uber相关的风险因素。
行动：Uber 2019 10K查询工具
行动输入：{"query": "项目1A. 风险因素"}
我们的业务、财务状况、运营结果和前景面临各种风险和不确定性，包括我们在新市场的扩张、新技术的开发以及垂直起降飞行器网络的增长。这些风险可能对我们的业务、财务状况和运营结果产生重大不利影响。
思考：
我需要了解Uber在新市场扩张的具体风险。
行动：Uber 2019 10K查询工具
行动输入：{"query": "新市场扩张"}
公司认为欧洲的托运人和承运人在当前运营中面临许多与美国托运人和承运人相同的痛点，因此，他们于2019年3月宣布将其货运服务扩展到欧洲。
思考：
我需要了解Uber在新市场扩张的具体风险。
行动：Uber 2019 10K查询工具
行动输入：{"query": "新市场扩张风险"}
我们的业务在很大程度上依赖于美国以外的运营，包括我们在其中经验有限的市场，如果我们无法管理国际业务模式带来的风险，我们的财务结果和未来前景将受到不利影响。
思考：
我需要了解Uber在新技术开发的风险因素。
行动：Uber 2019 10K查询工具
行动输入：{"query": "新技术开发风险"}
新技术的开发本身就存在风险，我们可能永远无法从中获得任何预期的收益。此外，这些新技术（如无桩电动单车和电动滑板车）的安全风险可能无法完全缓解，即使我们努力向用户提供当地安全法规建议并提供头盔促销码。如果我们不能有效地将开发预算用于商业上成功和创新的技术，我们可能无法实现战略的预期收益，用户也可能面临更高的受伤或死亡风险。
思考：
我需要了解Uber在垂直起降飞行器网络增长的风险因素。
行动：Uber 2019 10K查询工具
行动输入：{"query": "垂直起降飞行器风险"}
提供的上下文信息中没有提到“垂直起降飞行器”或“VTOL”。上下文讨论了Uber的业务，包括其自动驾驶汽车技术、无桩电动单车和电动滑板车、货运和Uber Elevate，以及与这些服务相关的风险，如竞争、监管问题和安全问题。然而，它没有提到VTOL车辆或任何相关风险。
思考：我现在知道最终答案
最终答案：
2019年Uber风险因素的全面分析：
• 我们的业务、财务状况、运营结果和前景面临各种风险和不确定性，包括我们在新市场的扩张、新技术的开发以及垂直起降飞行器网络的增长。这些风险可能对我们的业务、财务状况和运营结果产生重大不利影响。
• 新市场扩张的风险：
• 公司认为欧洲的托运人和承运人在当前运营中面临许多与美国托运人和承运人相同的痛点，因此，他们于2019年3月宣布将其货运服务扩展到欧洲。
• 我们的业务在很大程度上依赖于美国以外的运营，包括我们在其中经验有限的市场，如果我们无法管理国际业务模式带来的风险，我们的财务结果和未来前景将受到不利影响。
• 新技术开发的风险：
• 新技术的开发本身就存在风险，我们可能永远无法从中获得任何预期的收益。
• 此外，这些新技术（如无桩电动单车和电动滑板车）的安全风险可能无法完全缓解，即使我们努力向用户提供当地安全法规建议并提供头盔促销码。
• 如果我们不能有效地将开发预算用于商业上成功和创新的技术，我们可能无法实现战略的预期收益，用户也可能面临更高的受伤或死亡风险。
• 垂直起降飞行器网络增长的风险：
• 提供的上下文信息中没有提到“垂直起降飞行器”或“VTOL”。上下文讨论了Uber的业务，包括其自动驾驶汽车技术、无桩电动单车和电动滑板车、货运和Uber Elevate，以及与这些服务相关的风险，如竞争、监管问题和安全问题。然而，它没有提到VTOL车辆或任何相关风险。
> 完成链。
[2024-06-30 16:45:39][DEBUG]: == [高级财务分析师] 任务输出：2019年Uber风险因素的全面分析：
• 我们的业务、财务状况、运营结果和前景面临各种风险和不确定性，包括我们在新市场的扩张、新技术的开发以及垂直起降飞行器网络的增长。这些风险可能对我们的业务、财务状况和运营结果产生重大不利影响。
• 新市场扩张的风险：
• 公司认为欧洲的托运人和承运人在当前运营中面临许多与美国托运人和承运人相同的痛点，因此，他们于2019年3月宣布将其货运服务扩展到欧洲。
• 我们的业务在很大程度上依赖于美国以外的运营，包括我们在其中经验有限的市场，如果我们无法管理国际业务模式带来的风险，我们的财务结果和未来前景将受到不利影响。
• 新技术开发的风险：
• 新技术的开发本身就存在风险，我们可能永远无法从中获得任何预期的收益。
• 此外，这些新技术（如无桩电动单车和电动滑板车）的安全风险可能无法完全缓解，即使我们努力向用户提供当地安全法规建议并提供头盔促销码。
• 如果我们不能有效地将开发预算用于商业上成功和创新的技术，我们可能无法实现战略的预期收益，用户也可能面临更高的受伤或死亡风险。
• 垂直起降飞行器网络增长的风险：
• 提供的上下文信息中没有提到“垂直起降飞行器”或“VTOL”。上下文讨论了Uber的业务，包括其自动驾驶汽车技术、无桩电动单车和电动滑板车、货运和Uber Elevate，以及与这些服务相关的风险，如竞争、监管问题和安全问题。然而，它没有提到VTOL车辆或任何相关风险。
[2024-06-30 16:45:39][DEBUG]: == 工作代理：技术内容策略师
[2024-06-30 16:45:39][INFO]: == 开始任务：利用提供的洞察，开发一篇引人入胜的博客文章，
突出Uber面临的主要挑战。文章应信息丰富且通俗易懂，面向普通读者。
使其听起来酷炫，避免使用复杂词汇。
> 进入新的CrewAgentExecutor链...
格式错误增加
思考：我现在可以给出很好的答案
最终答案：
**Uber的颠簸之旅：应对前方的逆风**
作为叫车服务的先驱，Uber彻底改变了我们在城市中的出行方式。但在其光鲜的界面和便捷服务之下，公司面临着一系列威胁其增长和盈利能力的挑战。在这篇文章中，我们将深入探讨Uber必须应对的关键逆风，以保持领先地位。
**新市场扩张：双刃剑**
Uber向包括欧洲在内的新市场扩张可能看似大胆，但也伴随着相当的风险。公司的业务模式严重依赖于美国以外的运营，而其在这些市场的经验有限。这种缺乏熟悉可能导致文化和监管上的失误，最终影响其财务结果和未来前景。此外，Uber必须与更了解各自市场细微差别的当地竞争对手竞争。随着公司进入未知领域，它必须准备好适应和创新以保持竞争力。
**创新的风险：开发新技术**
Uber涉足新技术，如无桩电动单车和电动滑板车，是一场高风险的博弈。虽然这些创新有可能颠覆传统的交通模式，但它们也带来了固有的安全风险。公司必须在向用户提供当地安全法规建议和推广服务以鼓励采用之间取得平衡。此外，新技术的开发本身就存在风险，Uber无法保证能从其投资中获得预期的收益。如果公司不能有效地使用其开发预算，它不仅可能错过潜在的收入来源，还可能使用户面临更高的受伤或死亡风险。
**前方的道路：应对监管障碍和安全问题**
随着Uber的不断成长和演变，它必须应对复杂的监管障碍和安全问题。从竞争和监管问题到安全问题和用户信任，公司面临着一系列可能影响其底线的挑战。为了保持领先地位，Uber必须优先考虑用户安全，投资于创新技术，并与监管机构和地方当局建立合作关系。通过这样做，公司可以减轻与其业务模式相关的风险，并在日益竞争激烈的环境中继续繁荣发展。
总之，Uber的崛起之路充满了创新和颠覆，但也并非没有挑战。随着公司应对前方的逆风，它必须准备好适应、创新并优先考虑用户安全。通过这样做，Uber可以继续革新交通行业并保持竞争优势。
> 完成链。
[2024-06-30 16:45:59][DEBUG]: == [技术内容策略师] 任务输出：**Uber的颠簸之旅：应对前方的逆风**
作为叫车服务的先驱，Uber彻底改变了我们在城市中的出行方式。但在其光鲜的界面和便捷服务之下，公司面临着一系列威胁其增长和盈利能力的挑战。在这篇文章中，我们将深入探讨Uber必须应对的关键逆风，以保持领先地位。
**新市场扩张：双刃剑**
Uber向包括欧洲在内的新市场扩张可能看似大胆，但也伴随着相当的风险。公司的业务模式严重依赖于美国以外的运营，而其在这些市场的经验有限。这种缺乏熟悉可能导致文化和监管上的失误，最终影响其财务结果和未来前景。此外，Uber必须与更了解各自市场细微差别的当地竞争对手竞争。随着公司进入未知领域，它必须准备好适应和创新以保持竞争力。
**创新的风险：开发新技术**
Uber涉足新技术，如无桩电动单车和电动滑板车，是一场高风险的博弈。虽然这些创新有可能颠覆传统的交通模式，但它们也带来了固有的安全风险。公司必须在向用户提供当地安全法规建议和推广服务以鼓励采用之间取得平衡。此外，新技术的开发本身就存在风险，Uber无法保证能从其投资中获得预期的收益。如果公司不能有效地使用其开发预算，它不仅可能错过潜在的收入来源，还可能使用户面临更高的受伤或死亡风险。
**前方的道路：应对监管障碍和安全问题**
随着Uber的不断成长和演变，它必须应对复杂的监管障碍和安全问题。从竞争和监管问题到安全问题和用户信任，公司面临着一系列可能影响其底线的挑战。为了保持领先地位，Uber必须优先考虑用户安全，投资于创新技术，并与监管机构和地方当局建立合作关系。通过这样做，公司可以减轻与其业务模式相关的风险，并在日益竞争激烈的环境中继续繁荣发展。
总之，Uber的崛起之路充满了创新和颠覆，但也并非没有挑战。随着公司应对前方的逆风，它必须准备好适应、创新并优先考虑用户安全。通过这样做，Uber可以继续革新交通行业并保持竞争优势。
######################
最终答案
**优步的动荡之旅：迎风前行**
作为网约车服务的先驱，优步彻底改变了我们在城市中的出行方式。然而在其光鲜的界面和便捷服务之下，这家公司面临着诸多威胁其增长和盈利能力的挑战。本文将深入探讨优步必须应对的关键逆风，以保持领先地位。
**新市场扩张：双刃剑**
优步积极进军包括欧洲在内的新市场，看似大胆之举，实则风险并存。其商业模式高度依赖于美国以外的运营，而在这方面优步经验有限。这种不熟悉可能导致文化和监管上的失误，最终影响其财务成果和未来前景。此外，优步还需与更了解各自市场细微之处的本土竞争对手抗衡。随着公司踏入未知领域，它必须准备好适应和创新以保持竞争力。
**创新风险：开发新技术**
优步涉足无桩电动单车和电动滑板车等新技术领域，是一场高风险的博弈。尽管这些创新有可能颠覆传统交通模式，但它们也自带安全风险。公司必须在指导用户遵守当地安全法规与推广服务、鼓励采用之间取得平衡。此外，新技术的开发本身就充满风险，无法保证优步能从其投资中获得预期收益。如果公司未能有效利用其开发预算，不仅可能错失潜在收入来源，还可能增加用户受伤或死亡的风险。
**前行之路：应对监管障碍与安全担忧**
随着优步持续成长和演变，它必须面对一系列复杂的监管障碍和安全问题。从竞争和监管问题到安全担忧和用户信任，公司面临着多重挑战，这些都可能影响其财务表现。为了保持领先，优步必须优先考虑用户安全，投资创新技术，并与监管机构和地方当局建立合作关系。通过这样做，公司可以降低与其商业模式相关的风险，并在日益激烈的竞争环境中继续繁荣发展。
总之，优步的崛起之路充满了创新和颠覆，但也并非没有挑战。在迎风前行的过程中，公司必须准备好适应、创新，并将用户安全置于首位。如此，优步才能继续革新交通行业，保持竞争优势。
我们完全使用开源大型语言模型（LLMs）构建了一个金融研究分析师代理。该解决方案基于Llamaindex与CrewAI分享的示例。
