https://github.com/microsoft/Power-CAT-Copilot-Studio-Kit
在当前的AI技术浪潮中，微软的Copilot Studio已经成为业界翘楚。为了进一步提升开发者和创作者的体验，微软推出了Power CAT Copilot Studio Kit (下文简称为Copilot Kit)。本文将深入解析该工具包的核心功能，帮助你更好地利用它进行定制化开发与测试。
Copilot Kit 能力概述
Power CAT Copilot Studio Kit 是一个全方位的工具包，旨在增强Microsoft Copilot Studio的功能。这个工具包帮助创作者测试定制化的copilots（共同开发者），使用大型语言模型验证AI生成的内容，并提供汇总的关键性能指标（KPI）的跟踪能力（即将上线）。
测试能力
Copilot Kit 是一个用户友好的应用程序，使开发者能够配置copilots和测试集。它提供了诸如Excel导入导出等本地功能，便于批量创建和更新。
通过针对Copilot Studio API（Direct Line）运行独立测试，开发者可以评估copilot的响应是否符合预期结果。为了进一步丰富结果，还可以从Azure Application Insights和Dataverse中获取更多数据点，对对话记录进行分析，以获取触发的主题名称、意图识别评分等详细信息。对于AI生成的非确定性答案，使用AI Builder提示将生成的答案与示例答案或验证指令进行比较。
目前，该工具支持以下类型的测试：
精确匹配响应：验证响应是否与预期完全一致。
附件匹配：检查响应中包含的附件是否符合预期。
主题匹配：需要Dataverse数据补充，以识别触发的主题。
生成性答案：需要AI Builder进行响应分析，并通过Azure Application Insights获取答案生成的详细原因。
Copilot 关键性能指标（KPI）
即将推出的功能将允许开发者在不解析复杂对话记录的情况下，汇总和保留来自定制copilot的关键性能指标。
GitHub 仓库和资源
Copilot Kit 在 GitHub 上有一个专门的仓库，包含了所有组件的源代码、发布信息、问题记录和待办事项。
设置说明和文档
对于想要快速上手的开发者，详细的文档提供了从安装到运行测试的完整指导：
先决条件：安装所需的前置条件。
安装说明：如何安装和配置工具包。
配置用户和团队：设置用户角色和团队权限。
配置copilots：创建和设定copilots的具体功能。
配置测试：建立和组织测试用例。
运行测试：执行不同类型的测试。
分析测试结果：深度解析通过测试得到的数据。
故障排除：常见问题及其解决方法。
选配功能
此外，还有几个选配功能可以根据需要启用：
用户身份验证支持：增强安全性。
Application Insights 支持：通过Azure Application Insights获取更详细的分析数据。
已知限制
截至最新版本，Copilot Kit 尚不支持多轮对话功能。
