大语言模型

Azure AI Studio 国际版，加速企业级通用人工智能应用的开发

2024 年 6 月 17 日

通用人工智能（GenAI）应用的开发领域正以惊人的速度不断演进。我们正在经历从简单的提示工程（Prompt Engineering）到构建复杂人工智能系统开发与构建的显著转变。这些系统涵盖了包括检索、预处理、后处理、防护措施、代码解释、大型语言模型（LLM）路由、模型集成、混合编排（静态和动态）中的内存管理等复杂流程，如检索增强生成（RAG）和人工智能代理（AI Agent）等技术日益普及。

这种复杂性和先进性虽然赋予了 AI 应用开发者强大的能力，但也带来了挑战。在开发阶段，开发者需要理解复杂程序执行过程中的每个步骤，以获得观测、调试、评估和改进他们的 GenAI 应用的洞察力。其后，随着越来越多的 GenAI 应用从概念验证阶段过渡到生产环境，部署后的可观测性变得至关重要，让开发者监控 GenAI 应用上线后的行为，性能，用户反馈和响应，以洞察和调试边缘案例，加速应用的迭代优化。

正如本篇博客所强调的，GenAI 应用开发的生命周期并没有改变，但由于涉及的系统复杂性，挑战却在日益增加。下图作为一个视觉指南，帮助我们在流程中发现复杂性，强调出成功开发 GenAI 应用所需的系统方法。

#01

强化 GenAI

应用开发的追踪和可观测性

使用 prompt flow SDK 你可以轻松追踪和监控 GenAI 应用的执行过程，从输入到输出，再到中间环节的执行信息。在 prompt flow trace 中你可以观测到 GenAI 工作流中每个函数调用的详细日志，包括中间结果，使用的 AI 模型参数配置，token 开销，执行时间等性能指标，这有助于您快速了解 AI 模型的工作方式和它们产生的结果，以及调试和优化 GenAI 应用的生成结果。

Prompt flow SDK 同时支持 Trace 在本地和云端，你可以通过 `pf` 本地 SDK 在本地开发过程中查看 trace，同时也可以通过 `pfazure` 云端SDK 将 trace 发送到 Azure AI Studio国际版，Azure Machine Learning 或其他 OpenTelemetry 收集器（如 Azure Application Insights）。这种灵活性确保您可以将 Trace 与任何基于 Python 的代码集成，轻松地进行应用测试、调试、评估和部署监控。

▲ Local trace

在已经 GA 的 Azure AI Studio 国际版上，我们提供更强大的基于云的跟踪，这是一个构建 GenAI 应用程序的一站式平台，为企业级开发团队提供本地到云端的团队协作、持久存储，云服务资源调用，基于 UI 界面的交互式管理和可视化的开发体验。

▲ Cloud trace

Cloud Trace 的优势 :

● 1. 集中化测试历史管理: 你可享有云端的持久化存储资源，云平台的管理和查看能力，以确保测试数据，测试记录持久性和易于访问。

● 2. 可视化测试结果分析：云端 UI 界面便于查看和可视化测试结果，使你能够全面比较不同测试测试用例的输出。

● 3. 历史数据重用：云端存储的实验与追踪便于你重用以前的数据资产，如 Human Feedback 和 Data Curation，使数据真正回流赋能于应用的迭代与优化。

● 4. 优化资源管理：利用过去的性能和使用模式的详细见解和分析，改善未来的资源利用。

基于 Trace 的基本调式

当你的应用运行遇到报错时，Trace 可以帮助你更深入地观测到引发错误的函数中，评估异常情况，并使用提供的异常消息和 trace 栈进行故障排除。参考此例子 Tracing with LLM applicable 开始你的 LLM 应用的 Trace！

▲ Debugging in trace exception

分析 RAG 应用的检索

对于基于 RAG 的 LLM 应用（例如基于企业专业知识的问答聊天机器人），通常在调试非预期结果的过程中，想要明确问题出在检索过程中，还是在LLM 的提示生成中，是一个艰巨的任务。然而，借助新引入的 Trace 功能，检索和 LLM 生成将被展示为独立的执行步骤，便于你观测其输入输出，分析prompt 或检索配置对结果的影响。例如，您可以观察基于测试问题检索的上下文，分析参数配置，尝试微调参数以实现最佳检索。

▲ Analyzing the retrieval of RAG

观测 multi-agents 的交互

Multi-agents 是 LLM 应用的常见的场景，它是更先进的应用框架，例如构造一个由 LLMs、tool 和 human 支持的可对话代理，实现通过多角色之间的自动化，交互式聊天，来共同执行一个任务。在这种对角色自动对话场景下，Trace 视图将帮助你监控多角色对话的流程，观测每个角色以及 LLM 之间自动调用的交互过程。请参考这个例子 Tracing with AutoGen 来开始你的 multi-agent 场景的 trace！

▲ Observing the multi-agents interactions

强化应用评估和调试的万能 flow - Flex Flow

Evaluation 是 prompt flow 的核心价值，先前我们已支持用户 evaluate 其构建出来的 prompt flow。现如今，我们的 prompt flow SDK 引入了 Flex flow 这一个新功能，为 prompt flow 增强了对任意 GenAI 应用来做 evaluation 的适应性和可扩展性。它使你能够将您自己的应用代码快速集成到 prompt flow 中，进行全面的 Batch test 和 evaluation。

随着 Flex Flow 和 Trace 功能的引入，你现在将你的应用 Flex Flow，基于这个万能的 flex flow 在本地执行 evaluation run，在结果中观测每一行的trace。我们支持三种运行与观测模式：

1. 本地 run，结果存储本地，本地查看结果

2. 本地 run，结果存储本地+云端，云端查看结果

3. 云端 run，结果存储云端，云端查看结果

基于模式2，用户可以将本地执行的结果直接发送到云端 AI Studio 进行持久化存储，以保证你的测试数据的云端共享和长期存储。此外，基于模式3，用户还可以选择在云计算中运行 evaluation，这将在云端记录运行及其结果，便于用户使用云端资源，包括算力和数据。

启用 Trace 功能后，调试 evaluation 实验结果中的error case 变得更为容易，用户可以深入其 trace 视图进行详细观测和检查。

▲ Evaluation run result

Trace 你原生的 prompt flow

新的 Trace 能力将默认应用到所有 prompt flow 的 flow 开发过程，从 authoring，到 batch run 和 evaluation，再到 deploy，为 flow 的开发者提供了更优的可观测性和可调试性。此外，flow authoring 阶段所有历史测试记录都会持久存储在一个列表中，有助于你日后追踪，调试和数据复用。

#02

集成 Trace 和 Monitor 的简化部署

GenAI 应用在经历严格测试后，待其质量和性能得到保证后，用户可以顺利地将其部署到 Azure AI Studio 国际版中作为一个在线 endpoint。Azure AI Studio 国际版为用户提供了一个安全可扩展的环境来运行 GenAI 应用，并提供了各种功能来增强您的部署体验，包括与 Azure Application Insight 集成，进行全面的部署后监控。

从Trace 监控中获得深入见解

在部署后的阶段，我们支持将你得应用请求数据，日志信息汇聚在 application insight 中进行监控，这里同样可以包括 trace 数据。开发者通常在后台日志中，希望深入了解应用在线上的性能情况，以进一步优化，而此时，每个请求的 trace 数据、聚合metrics 和用户反馈数据变得至关重要。