Microsoft Build 2024宣布的所有内容：Copilot、Edge、Agents、Azure AI、GPT-4o

Team Copilot

Team Copilot 是一项新的 AI 功能，您可能会在 Microsoft Teams 会议中看到它。

Team Copilot 能够加入视频会议，充当你的虚拟同事。Team Copilot 具备多项功能：它可以实时总结会议内容，确保讨论议程上的每一项都能得到适当的时间分配。

此外，所有与会者都能对 Team Copilot 生成的笔记进行编辑，根据各自需求添加或删除要点。Team Copilot 还能在聊天中提供帮助，回答用户问题，并向迟到的参与者提供之前讨论的概要。

在 Surface 发布会中，微软推出了两款新笔记本电脑：Surface Laptop 7 和 Surface Pro 11。这些设备以 Copilot 和人工智能技术为核心，特别推出了一个名为“Recall”的新功能。Recall 能够追踪你在电脑上的所有操作，并允许你通过自然语言查询和滚动时间轴来随时检索历史记录。

在 Surface 设备上，微软展示了 Copilot 的强大功能，宣称用户可以不打开任何应用程序，直接通过人工智能助手来编辑图片。

在演示中，微软展示了如何通过 Copilot 的集成功能，仅需点击一下即可从照片中去除背景。

利用新 Surface 设备内置的 NPU，新的 AI 调用功能让用户可以使用自然语言找到屏幕上出现的任何内容。

例如，假设你正在购买一条新裙子，突然间，你分心了，忘记将你最喜欢的裙子添加到书签中。使用 Recall，你可以输入“蓝色裙子”之类的内容—并在几秒钟内检索你未能保存的网页。

在 Surface 系列的发布活动中，微软简要展示了 Copilot 如何协助用户绘制草图。在演示中，用户在一个简单的环境中，利用自己的想象力绘制了房屋的草图。

Copilot 显示出了将普通草图转化为精美作品的能力。它提供了一个滑动条，让用户可以调节草图的"创造力"水平，同时还可以改变其艺术风格，比如转换为油画风格等。这一功能不仅提升了用户的创作体验，也展示了人工智能在艺术创作领域的潜力。

Microsoft Edge 视频实时翻译

微软为其 Edge 浏览器引入了一项创新的人工智能功能——视频实时翻译。这项新功能能够为视频内容提供配音和字幕，极大地增强了用户体验。

对于听力有障碍的用户来说，这项功能尤其有用。他们现在可以为原本没有字幕的视频添加字幕，从而无障碍地享受视频内容。此外，对于那些希望观看不同语言视频的用户，实时翻译功能也提供了极大的便利。

目前，这项功能支持来自多个平台的视频内容，包括 YouTube、LinkedIn 以及 Coursera 等。通过这项功能，用户可以轻松地观看和理解不同语言的视频，打破了语言障碍，让知识与信息的传播更加广泛和便捷。

Microsoft Teams 的新功能

此外，Teams 还增加了实时表情符号反应的功能，使会议中的互动更加生动和有趣。同时，利用 Azure AI Speech 技术，Teams 现在能够提供实时转录服务，尽管这项功能目前还在测试阶段，但其推出后将极大地方便会议内容的记录和回顾。

在提升会议的可访问性方面，Teams 扩展了隐藏式字幕的支持，使其覆盖到了所有应用间通话。这对于那些听力有障碍的用户来说是一个巨大的进步。

为了进一步提高用户的工作效率和灵活性，Teams 还为 iOS 和 Android 平台引入了画中画模式。这一功能允许用户在进行视频通话的同时，进行其他任务操作，无需在应用间切换，从而实现了更加高效的多任务处理。

Copilot AI 通过观察屏幕提供帮助

微软推出了一项新功能，该公司声称其人工智能助手能够通过观察用户的屏幕来指导完成特定任务。在演示中，Copilot 展示了如何帮助用户学习玩 Minecraft 游戏。Minecraft 是一款主要受众为儿童的游戏，选择这款游戏作为演示似乎有些奇怪。

尽管有人可能会质疑这项功能的实际需求，但它现在已经成为现实。

这项新功能的推出，展示了微软在人工智能领域的创新和探索。虽然它可能不适用于所有人，但对于那些需要额外帮助或指导的用户来说，这无疑是一个有价值的工具。同时，这也引发了关于人工智能在教育和娱乐领域应用的进一步讨论和思考。

人工智能商业助手 Copilot Agents

微软推出的 Copilot Agents 是一种人工智能助手，它承诺能够"独立且主动地为你安排任务"。这意味着 Copilot Agents 能够执行后台任务，帮助用户提高工作效率。微软甚至将新员工的入职流程作为 Copilot Agents 可以助力的一个例子。

Copilot Agents 的概念与 Google 近期宣布的"AI Agents"非常相似，Google 在本月初的 I/O 开发者大会上展示了这一计划中的功能。

然而，目前用户还无法尝试使用 Copilot Agents，因为它还没有正式发布。微软计划在今年晚些时候进行有计划的公开预览，届时用户将有机会体验这项创新的人工智能服务。

GPT-4o 在 Azure AI 上可以做什么

在 Build 大会上，微软宣布了一个重要消息：OpenAI 开发的多模式模型 GPT-4o 现在已经对微软 Azure AI 平台上的开发人员开放使用。

如果你是一个非 IT 人员，那么对于微软 Azure AI Studio 和 GPT-4o 的讨论可能会让你感到困惑，因为 Azure AI Studio 是开发人员的乐园，而 GPT-4o 则是这个乐园中最新加入的工具之一。它为开发人员提供了新模型的图像和视觉功能，这无疑是技术进步的一大步。

目前，GPT-4o 的图像和视觉功能已经可以通过 OpenAI 自己的 API 以及 ChatGPT 获得。但备受期待的语音模式功能还需要几周时间才能推出。同样，通过 Azure AI Studio 和微软的 API 访问 GPT-4o 也还没有包含语音模式。根据微软技术社区中心的博客文章，音频功能将在"未来"推出，但目前还没有具体的日期。

那么，开发人员可以使用 Azure AI 上的 GPT-4o 做什么？

"最酷的事情之一是任何应用程序、任何网站都可以变成一个完整的多模式全双工对话画布，"微软CEO萨提亚·纳德拉（Satya Nadella）说。这意味着开发人员可以创建智能代理，帮助用户更轻松地导航应用程序和网站。

例如，在一次演示中，一个代理展示了如何帮助一个准备去露营的用户选择合适的鞋子，并将其添加到购物车中。这表明 GPT-4o 可以帮助开发人员构建更直观、更个性化的用户体验。

微软首席技术官凯文·斯科特（Kevin Scott）进一步展示了 GPT-4o 的能力。他演示了一个使用 GPT-4o 的 ChatGPT 风格机器人，该机器人能够通过手机摄像头阅读代码，并帮助微软首席工程师詹妮弗·马斯曼（Jennifer Marsman）实时解决问题。

这表明 GPT-4o 不仅可以帮助开发人员构建交互式应用程序和网站，还可以提高他们的开发效率，帮助他们更快地编写和调试代码。