大语言模型

超越 LLM：如何卷AI全产品

2024 年 8 月 11 日

介绍

前几天，我发现自己在反思从商学院学到的一个经典概念，马斯洛的需求层次理论，一个简单而强大的理解人类动机的框架，以基本的生理需求（空气、食物、水、住所、睡眠、衣服,...）为基础，并将对自我实现的追求置于顶峰。

这促使我思考，在科技（特别是人工智能）和产品的世界里，什么与其等价？我的意思是，用户总是有需求的，产品中的需求会根据用例和要解决的问题而有很大差异，但肯定存在一个谱系的。我们是否可以使用一个模型或框架来确定什么是对客户来说“正确”的产品，以及客户对产品的期望是什么？幸运的是，杰弗里·摩尔（Geoffrey Moore）的《跨越鸿沟》（Crossing the Chasm）提供了一些答案。在他的书中，摩尔引用了莱维特的全产品（Whole Product）模型，并通过引入“简化的全产品模型”来进一步简化。

在本文中，我们将内化摩尔模型，扩展它，并展示如何将它专门应用于人工智能产品（也适用于任何产品）。我们将深入探讨构建 AI 应用程序时固有的权衡取舍，并通过真实世界的示例来说明这些概念。

我的目标是，在阅读本文之后，你应该会获得一个心智模型和框架来构建伟大/可用的人工智能产品，这不仅可以帮你思考技术本身，还能帮你思考如何将它融入大局。

全产品基础（与其衍生）

全产品模型围绕着这样一种理念，即核心/通用产品必须由构成全产品的附加服务和接口（或称赋能）作为补充，这些服务和接口应该为客户的问题提供解决方案并满足他们的需求。

在Geoffery Moore的书中，核心/通用产品被定义为公司生产的基本产品或技术，这些产品或技术可能不足以完全解决客户的问题或满足他们的需求。

这就是外环发挥作用的地方。它代表全（预期）产品，分为多个部分。这个外环包含了客户期望或需要的所有附加元素，以使核心产品完全发挥作用并对他们有价值，我们称它们为“赋能者”。

适配（简化）的全产品模型

在科技行业，公司通常更喜欢建立在现有的开源项目或技术之上，而不是从头开始开发所有内容。这些公司专注于通过定制、支持、咨询服务、集成和专属模式等层次来增加特有价值，从而创造一个整体超过其各部分之和的全产品。

此外，任何成功的技术都必然会随着时间的推移而商品化，我们经常在技术中看到竞争对手采用的策略，他们从中获利，将价值推到价值链的更高层次（他们通常希望籍此商品化）。认识到这一点，公司需要不断创新和差异化他们的产品，以保持竞争优势（相关，请参阅之前关于人工智能市场动态的文章，以及该领域的公司聚焦在哪些方面）。

因此，让我们通过两个关键调整来调整简化的全产品模型。首先，我们将从固定部分转向更加模块化的花瓣状结构。这反映了构成全产品层的相互关联但又有差异的组件。其次，我们将在全产品层之上引入一个新层，称为“差异化产品层”。这一层将突出使公司及其产品与众不同的独特价值主张，展示他们如何为客户创造最大价值。

为了更具体，让我们展示一下如何将其应用于 Slack（这只是为了说明目的，真正的区别因素很可能非常不同）。

除了使用类似花瓣的模块化组件以不同的方式表示产品的赋能者外，我们还添加了一个新层来突出差异化因素。上面的示例中，Slack 的情形，赋能因素可以是线程、Slack Connect、工作流构建器和/或 Slack AI。

我们已经非常接近完成适配工作，因此我们将向新框架添加最后一部分。除了差异化层之外，我们还想对产品的可定制性进行建模。也就是说，一个客户的全产品对另一个客户来说可能不同。也就是说，并非所有客户都希望获得完全相同的功能，因此根据客户的限制/需求进行满足非常重要。例如，通常，一些客户更看重安全/保障而不是成本，而另一些客户可能更看重速度等。

让我们继续 slack 示例。Slack 可能有不同的客户需要满足。企业客户主要将其用作公司范围内的通信手段，在这种情况下，重点将是安全性和遵守公司的通信策略，从而导致：

·优先推动因素：企业级安全性、精细权限、合规性功能（例如，数据保留策略）

·强调的差异化因素：Slack Connect 用于安全的外部协作，并与企业安全工具集成

另一个用例，重点领域可能是开发人员，而 Slack 是他们开发/测试工作流程的一部分。在这种情况下，重点将放在开发人员的生产力和协作上，从而实现：

·优先推动因素：与开发工具（例如 GitHub、Jira）集成、代码片段、强大的搜索功能

·强调的差异化因素：用于自动执行任务的工作流构建器，用于代码建议和知识检索的 Slack AI

这里的要点是，多功能性本身可以成为一个核心差异化因素，因为它允许量身定制的产品体验。另一种看待它的方式是，所施加的约束定义了产品的核心价值主张，以及如何塑造它，以在特定空间中最好地服务和差异化。

在我们的示例中，Slack 可以针对不同的客户群定制其产品，突出与每个群体最相关的特性和功能。这种定制不仅增强了用户体验，而且增强了 Slack 在竞争激烈的市场中的价值主张。

迈向全人工智能产品（即AI系统）

您现在应该已经掌握了经过调整的简化的全产品框架。接下来，我们将专注于使用该框架并将其映射到超级令人兴奋的 AI 应用程序世界。

构建 AI 应用程序的关键要素

在映射之前，让我们快速了解一下 AI 产品和应用程序的核心成分（一个样本，而不是详尽的列表）。我们将介绍关键思想，但我们不会深入研究技术难点。为此，有许多可用的资源，我们将在进一步阅读时引用其中的一些资源。

LLM 和/或 SLM

在上一篇文章中，我介绍了模型产品可能性前沿，这是一个用于研究大语言模型（LLM）和小语言模型（SLM）的权衡和用例的框架，为了简洁起见，在这里不再重复。也就是说，选择使用哪些模型及其大小是构建生成式 AI 应用程序和产品的关键因素。

以下是在推理权衡时要问自己的一些考量/问题：

·您最倾向的约束条件是什么？是速度、质量、成本等吗？

·隐私呢？您是否重视数据保存在内部（小型模型在本地部署、训练和服务更容易/更便宜）

·您将如何评估使用这些模型的 AI 应用程序的性能？

·较小的模型是否更易于测试和评估（将特异性视为真实性与 LLM 的多功能性相比，LLM 的多功能性引入了更多的可变性/幻觉，因此使其更难测试）

虽然我们没有明确指出，大型或小型模型可以被微调和对齐。这篇文章对此进行了更详细的介绍。

检索增强生成（RAG）

我会说 2023 年是 RAG 的一年。我们从基础的 RAG 转变为高级 RAG。我喜欢天真的 tbh，它传达了简单性，但是，好吧，现在先进被认为是更好的，我们还没有解决，但那是另一回事?。此论文（https://arxiv.org/abs/2312.10997）提供了更多详细信息。

RAG 工作流程由许多活动组件和优化组成。目标是检索最佳内容，以使用必要的信息增强 LLM（文本生成）的上下文。在这种情况下，LLM成为策划人，而不是各种创新者/创造者（他们塑造了检索结果，并使它们作为输出与用户产生共鸣，但本身并不是知识的来源）。为了让您了解 RAG 所涉及的活动部分，这里有一个粗略的脑图（您可以随意浏览思维导图，为了简洁起见，我不会在这里列举详细信息）。

在考虑使用 RAG 构建 AI 应用程序时，通常会想到一些关于权衡和决策的问题，通常是在 RAG、长上下文和微调之间。同样，我们不会介绍详细信息，但您可以提出一系列问题来做出决定。

·应用程序是否需要访问外部数据源以提供准确和最新的响应（如果数据新鲜度很重要，特别是因为语言模型是特定时间点训练的，RAG 通常很有意义）？

·对于模型来说，调整其行为、写作风格或特定领域的知识以匹配特定要求是否至关重要（RAG 不定制行为，如果行为定制是目标，微调将是有意义的）？

·将模型生成虚假或捏造信息（幻觉）的风险降至最低有多重要？

·有多少标记的训练数据可用于微调？它是否充分代表了目标领域和任务？

·基础数据多久更新一次？对于模型来说，访问最新信息有多重要？

·理解模型响应背后的原因并将它们追溯到特定的数据源是否重要？

·最小化项目或组织的计算成本有多重要？

·您的典型查询是否需要多步骤推理（复杂查询或简单问题）？

·扩展解决方案以处理大量查询的能力有多重要？

最后，这是我创建的一个简短指南，旨在帮助您做出有关 RAG/微调的明智决定：

有关更多信息，请查看以下论文，我发现这些论文对于理解差异和权衡非常有用：

·[2407.16833] 检索增强生成还是长上下文 LLM？综合研究和混合方法（https://arxiv.org/abs/2407.16833）

·[2401.08406] RAG 与微调：流水线、权衡和农业案例研究（https://arxiv.org/abs/2401.08406）

·[2312.05934] 微调还是检索？比较 LLM 中的知识注入（https://arxiv.org/abs/2312.05934）

如今，在某些情况下，RAG 已成为构建 AI 应用程序的代名词。显而易见的是，RAG 不是一个组件，它是一个由许多活动部件组成的系统，这些部件带有控制杆，可以打开/关闭最有意义的内容，最受上下文和用例的影响。

智能体无处不在：是或非！

除了模型（LLM/SLM） RAG 之外，还有智能体和智能体工作流的概念（还得算上非智能体）。虽然这又不会是深入探讨，但让我们介绍一下基础知识。

什么是智能体，什么是智能体行为，为什么有时没有智能体？

智能体的概念并不新鲜。智能代理已经存在了几十年（请参阅此处的示例），它们被正式称为智能体。以下是智能体的定义。

在智能和人工智能中，智能体（IA）是以智能方式行事的代理。它感知环境，自主采取行动以实现目标，并可能通过学习或获取知识来提高其表现。智能体可能很简单，也可以很复杂：恒温器或其他控制系统被认为是智能体的一个例子，人类也是如此，任何符合定义的系统都是如此，例如公司、国家或生物群落。[1]

变化的是，随着 LLM 的出现，智能体的能力得到了提升，从符号的、基于规则的、预定义的、具有低自主性的简单动作（有关详细信息，请参阅历史帖子，您可能会想起专家系统）到能够理解和生成自然语言，跨不同领域学习和适应，并执行复杂的操作，自主行动。在当今的背景下，智能体是一个软件实体，具有自主性、以目标为导向的行为，使其能够跨领域操作和泛化并采取复杂的行动。

在这种情况下，智能体行为是指智能体独立运作、做出与其目标一致的决策以及执行行动（可能使用工具/函数调用,...）以实现这些目标的能力。智能体级别可能因环境的复杂性、智能体的目标以及所需的用户监督程度等因素而异。更多的智能体系统可以在复杂的环境中自主运行，追求复杂的目标，并利用先进的技术，如规划和工具使用。

最后，还有流工程/非智能体的概念，它依赖于确定性，并且仅与语言模型接口以执行特定的澄清操作，某种意义上更类似于过去的智能体概念，例外是，可以访问能够更好地识别预定义操作领域的外部智能。

为了简化理解，我画了下图（此处分辨率更高），以帮助您构建更清晰的智能体的印象。

其他组件

除了智能体、RAG、模型之外，还有多种其他元素可用于构建 AI 应用程序，逐一介绍超出了本文的范围，但这里有一个非详尽的列表供参考：

·数据流水线：用于收集和处理数据、思想提取、转换的系统。

·知识库：存储已处理的知识/数据的地方。

·用户界面：用户的 Web 或应用程序界面。

·查询/提示缓存：避免不必要的查询往返，可以大大降低成本。

·API：与其他系统交互。

·基础设施：一个通常被忽视的重要组件，在哪里托管模型/应用程序，如何扩展它等。

·可观察性：能够记录、监控、追踪 AI 应用程序。

·模型网关：用户查询与其目标服务之间的接口。在此过程中，它确保查询经过身份验证/授权，对敏感内容（例如 PII）进行屏蔽/审计，最后路由到最佳模型以提供查询（此处最好的情况取决于用例，请参阅此帖子)

·<更多>

在我写这篇文章的时候，我看到了这篇博文（https://huyenchip.com/2024/07/25/genai-platform.html），其中讨论了人工智能应用的一些最常用的组件的技术细节。

复合 AI 系统

到目前为止，我们已经分别介绍了对人工智能应用程序的构建至关重要的重要组件和mi’ji，但是什么能使这些组件的互连朝着实现共同目标迈进？一个系统！

系统是一组相互作用或相互关联的元素，它们根据一组规则运作，形成一个统一的整体

扎哈里亚等人最近引入了复合AI系统的概念。在他们的帖子中，他们将其定义为：

一种使用多个交互组件处理 AI 任务的系统，包括对模型、检索器或外部工具的多次调用。相比之下，AI 模型只是一个统计模型，例如，一个 Transformer 可以预测文本中的下一个词元。

作者还强调了设计人工智能系统的复杂性：

虽然复合 AI 系统可以提供明显的好处，但设计、优化和操作它们的艺术仍在不断涌现。从表面上看，AI系统是传统软件和AI模型的结合，但其中有许多有趣的设计问题。例如，整体“控制逻辑”应该用传统代码编写（例如，调用LLM的Python代码），还是应该由AI模型驱动（例如，调用外部工具的LLM智能体）？同样，在复合系统中，开发人员应该在哪里投入资源——例如，在 RAG 流水线中，是在检索器还是 LLM 上花费更多的 FLOPS，还是多次调用 LLM 更好。

https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/

在他们的帖子中，他们展示了一个人工智能系统表，以及它们由哪些组件组成。此外，他们还强调了对所选组件进行优化的必要性，以构建可靠的人工智能系统。下面我们提取了文章中提到的组件，并将它们分类为Ops（即运营）、工具、上下文/知识和模型。

如果您还记得在上一节中，我们介绍了类似的组件以及更多作为构建 AI 应用程序的组件。这里的要点是，构建可靠的 AI 应用程序需要一个系统，而不是一个单例组件。即，“整体大于部分之和”

另一种可视化它的方法是考虑一个仪表板，看起来像一个驾驶舱，其中包含构建 AI 应用程序所需的所有旋钮，下面是一个示例，它看起来能像什么：

如果没有抽象，你就必须手动配置所有这些旋钮（即，你必须理解这些旋钮的含义）。如今，存在许多框架来执行编排，这些框架在很大程度上抽象掉了一些（如果不是全部）这些细节。这是一件好事吗？我会让你决定。我的看法？如果您正在试验、学习，这可能是一件好事，但如果可靠性、性能和安全性是问题（它们应该是），那么在选择自动化/编排工具之前，您仍然必须了解所有这些旋钮的含义。这样想吧，飞行员是否只是在不了解驾驶舱中每个旋钮的含义的情况下领取驾照？我猜不会！但是当他们这样做时，如果他们愿意，他们可以自动驾驶，因为在任何时候他们都可以切换回飞行员模式并打开正确的旋钮以安全驾驶飞机。

从复合系统到全人工智能产品

现在我们已经了解了构建 AI 应用程序和复合 AI 系统所需的关键要素，这是我们将用来描述 AI 应用程序的组件以及它们如何混合的技术模式，让我们继续将其映射回我们适配的简化的全产品框架。

注意：虽然拥有一个封装产品主要功能的技术系统很棒，但推出和构建全产品比技术部分需要更多的时间/精力（执行）。

如上图所示（此处的分辨率更高），我们在上一节中对复合 AI 的组件进行了分类，并将它们映射到通用/核心（正中间）以及由一个或多个推动因素组成的全产品层。您可能会注意到，我们遗漏了差异化产品层，这是有意为之的。我们将在下一节中介绍这一点。约束条件呢？让我们也对它们进行建模。

约束将在很大程度上取决于用例，我在这里以“企业”为例。对于企业 AI 用例，安全性和可靠性是重要的关注点。利用这些约束条件，我们把重点放在全产品的特定部分，突出关键的推动因素。在这种情况下，我们选择了 legal、ops、gateway 和 UX。

不同的用例将对全产品给予不同的重视，导致某些层比其他层更重要。一些用例甚至通过放弃不必要的推动因素来简化全产品，使全产品更精简，更直接地解决手头的问题/用例。

防御性和复合护城河

此前，我们全程体验过，比较和对比当前的人工智能市场格局。我们展示了那些以改进模型以外的其他东西为使命的公司如何在竞争激烈的市场中更有可能生存（即，人工智能作为赋能者，而不是人工智能作为核心产品）。我们还展示了公司如何发布开源语言模型，这提高了竞争力并使模型层完全商品化，使初创公司和企业可以通过差异化来看待防御性，亦即企业的护城河是什么？

对于防御性，让我们总结一下最突出的策略：

·拥有强大的使用社区和强大的用户参与度。

·从基础模型过渡到基于目的的方法

·在模型之外构建价值层

·在 AI 栈的各个层面实现差异化

让我们简要介绍一下每个内容。

·培养强大的社区和高用户参与度：这包括培养快速增长的用户群，利用网络效应的力量，并创建一个充满活力的社区，吸引不同世代的用户。也就是说，谁会使用我的产品，除了模型之外，我还能提供什么价值，为什么我首先要有一个社区？

·从通用基础模型过渡到专用应用程序：通过关注特定的用户需求和问题，公司可以定制他们的人工智能解决方案，以提供更多价值，并使用现有的商业模式在市场上脱颖而出，例如，我已经是一个社交网络，我从广告中赚了很多钱，我如何通过整合人工智能为现有社区增加更多价值？

·在模型之外构建价值层：投资于研究，以不断改进模型和应用程序，利用专有数据（数据作为护城河）来提高性能（毕竟是垃圾输入、垃圾输出、黄金输入、黄金输出），并根据用户反馈不断改进产品。通过建立忠实的客户群和提供独特的价值主张，公司可以建立强大的竞争优势。

·聚焦 AI栈的各层实现差异化：这可能涉及开发卓越的 AI 模型或较小的利基模型（专注于微小的用例，但在这样做方面击败其他任何人）、提供可扩展且高效的 AI 基础设施，或创建用户友好的界面和无缝集成（例如，GPT 商店？每一层都提供了差异化的机会，并有助于公司的整体防御能力。

这些只是一些可以用来建立护城河的策略，它很少是一个单一的组成部分，它是多个组成部分的总和，以形成一个更好的整体防御产品。复合护城河™就是道路！最后一种策略是独自生存机率最低的策略，所以我至少会考虑上述两种策略来开始差异化。要问的一些问题：

·您有哪些流程来确保 AI 模型被用作赋能因素，而不是被视为最终产品？

·您正在采用哪些策略来快速扩大用户群、创造网络效应并培养社区意识？

·您在研究、数据、产品改进和客户获取方面进行了哪些投资，以构建价值层次？

·您正在分配哪些资源来在模型层、基础设施层或应用程序层上使您的公司与众不同

·您如何评估和优先考虑潜在的差异化领域，以确保可持续的竞争优势？

添加差异化产品层

现在我们理解了护城河/防御策略，我们如何将它们建模回我们的框架中？！使用任何（或额外的）防御性策略来差异化，将其他组件添加到模型中的差异化产品层。在这种情况下，我们增加了强大的社区、与合作伙伴的整合、商店/市场、应用层的创新（模型之上的价值）和独特的数据。这一层构成了公司的一套复合护城河，这也是创造品牌差异化、忠诚度、保留率等的原因。

AI全产品实践

现在是 2024 年，距离 ChatGPT 发布近两年，在感知器（神经网络的首次表现形式）近 70 年后（有关详细信息，请参阅这篇文章），以及专家系统构建近40 年后，当时最接近应用人工智能的系统。在这篇文章中，我详细介绍了为什么专家系统没有成功（并部分导致了人工智能的冬天），但为了简洁起见，这是一个消费鸿沟，我们当时在计算、社区和技术方面所具备的与我们今天所处的位置相去甚远。

随着 LLM 展示了自然语言可以实现的目标，以及预测 AI 和深度神经网络的成熟，应用 AI 现在比以往任何时候都更成为现实。在本节中，我们展示了希望在自然环境下使用复合 AI 系统构建 AI 应用程序。在互联网上可以找到许多关于人工智能应用的知识来源。我选择使用联邦 AI 用例清单（https://ai.gov/ai-use-cases/）来提取一些示例用例，然后是一个真实案例，说明 Uber 和 OpenAI 如何利用复合 AI 系统来构建全 AI 产品并将它们映射到我们适配简化的全产品框架。

联邦 AI 用例

以下是我们应用框架后清单中的 6 个用例的细分（使用编码在清单中找到它们）。

示例 1：TowerScout （HHS-0022–2023）

问题：在调查期间确定退伍军人病爆发的潜在来源。

约束：准确性、检测速度、处理航空图像的能力。

核心产品：经过训练的物体检测和图像分类模型，可识别冷却塔。

推动因素：

·数据流水线：用于获取、处理和存储航空影像的系统。

·知识库：有关建筑物位置、潜在水源的地理数据。

·工具：图像标注工具、模型训练基础设施、可视化软件（GIS）。

差异化产品层：

·集成：与CDC疫情调查工作流程和数据库直接集成。

·唯一数据：访问CDC的流行病学数据以进行模型训练和验证。

示例 2：USDA 农田数据层（USDA-0026–2023）

问题：对作物类型和土地利用进行分类，以便进行农业监测和统计。

约束：准确性、全国覆盖范围、长期一致性、处理卫星数据的能力。

核心产品：经过训练的机器学习算法（可能是随机森林），用于从卫星图像中对作物进行分类。

推动因素：

·数据流水线：用于获取、处理和存储多时相卫星图像的系统。

·知识库：来自农场调查的地面实况数据、历史作物模式、天气数据。

·工具：图像处理软件、模型训练基础设施、地理空间分析工具。

差异化产品层：

·长期数据：历史 CDL 数据为了解农业趋势提供了宝贵的见解。

·公开可用性：对 CDL 数据的开放访问使其被研究人员和政策制定者广泛使用。

示例 3：人力资源学徒（OPM-0000–2023）

·问题：在政府招聘中对申请人的资格进行耗时且可能具有主观性的评估。

·约束：准确性、公平性、处理申请人简历和职位描述的能力、可解释性。

·核心产品：AI 模型（NLP 和可能的排名算法）根据先前招聘决策的数据进行训练。

推动因素：

·数据流水线：从申请和简历中获取和处理申请人数据的系统。

·知识库：职位描述、资格要求、能力框架。

·工具：NLP 库、模型训练基础设施、人力资源专家的用户界面。

差异化产品层：

·偏见缓解：对公平性和减轻不利影响进行稳健的测试和评估。

·可解释性：系统能够为申请人排名提供明确的理由。

示例 4：HaMLET（利用机器学习消除结核病）— HHS-0023–2023（CDC）

问题：提高移民和难民，特别是结核病海外健康检查的准确性和效率。

约束：准确性、速度（高通量）、处理胸部 X 光片的能力、海外环境中的潜在资源限制。

核心产品：经过训练的计算机视觉模型，可从胸部 X 光片中检测结核病。

推动因素：

·数据流水线：用于获取、数字化和存储胸部 X 光片的系统。

·知识库：确诊结核病的大型标记胸部 X 线片数据集。

·工具：图像注释工具、模型训练基础设施、可能在功能较弱的设备上使用的轻量级部署。

差异化产品层：

·公共卫生影响：具有显著减少结核病传播和改善全球卫生结果的潜力。

·资源效率：自动化筛查可以减少对专业人员的需求，使其在资源有限的环境中更加可行。

示例 5：RelativityOne（DHS-0026–2023 — 国土安全部）

问题：在诉讼、FOIA 请求和其他涉及大量文件的法律程序中，文件审查效率低下且耗时。

约束：准确性、速度、处理各种文件格式的能力、有关数据隐私和访问的法律和道德考虑。

核心产品：使用机器学习技术（持续主动学习、聚类）的文档审查平台。

推动因素：

·数据流水线：用于引入、处理和索引大量文档的系统。

·知识库：法律框架、判例法和其他与模型训练相关的信息。

·工具：文本提取和分析工具，为法律专业人士提供用户界面，用于审查和管理文档和结果。

差异化产品层：

·提高效率：大大减少了文档审查所需的时间和资源。

·提高准确性：ML 模型可以识别人类可能遗漏的相关文档和模式。

·合规性和安全性：高度重视数据安全性并遵守法律和道德要求。

示例 6：网络安全威胁检测（HHS-0015–2023 — ASPR）

问题：有效分析海量的网络安全威胁数据，以识别和应对真正的威胁。

约束：速度、准确性、处理各种数据源的能力、网络威胁不断变化的性质。

核心产品：经过训练的 AI 和 ML 模型，可检测网络流量和其他安全数据中的异常和恶意活动。

推动因素：

·数据流水线：从各种安全工具（防火墙、入侵检测系统等）实时获取数据

·知识库：已知威胁、攻击模式和漏洞的数据库。

·工具：用于事件响应的数据可视化和分析工具、安全编排和自动化平台。

差异化产品层：

·主动威胁检测：AI 模型可以识别传统基于规则的系统可能会遗漏的新威胁和零日攻击。

·自动响应：AI 可以自动执行事件响应操作，例如隔离受感染的设备，以更快地遏制威胁。

公司 & 产品

除了联邦人工智能用例之外，让我们将该框架应用于知名公司和初创公司公开发布的产品。我们将报道 Uber 和 OpenAI。

Uber 的米开朗基罗

最近，我看到了两篇博客文章，涵盖了 Uber 在过去 8 年中开发和完善其 AI 平台 Michelangelo 的旅程。根据这些帖子，米开朗基罗在推动 Uber 运营的几乎所有方面都发挥着关键作用，从预计到达时间预测和乘车匹配等核心功能到欺诈检测和客户支持。此外，自 2023 年以来，Uber 一直在构建各种内部生成式 AI 应用程序和平台，为构建这些应用程序提供良好的基础（请参阅这篇关于如何构建平台的文章了解更多详情）。以下是他们的生成式 AI 用例/目标的分布：

https://www.uber.com/en-DE/blog/genai-gateway/

考虑到这一点，让我们将我们适配的全产品框架应用于 Uber 与 Michaelangelo 的内部 AI 用例，并构建一个 AI 平台。

问题：缺乏一个标准化和可扩展的系统来开发、部署和管理 ML，以满足 Uber 的各种业务需求，并进行分层/优先级排序。

目标：利用传统 ML 和 LLM 的强大功能来改善核心运营（ETA、定价）、增强用户体验（客户支持、应用功能）并提高内部生产力。

约束：

·规模：管理全球用户群的海量数据和实时预测需求。

·延迟：为时间敏感型应用程序提供低延迟预测。

·安全与隐私：保护用户数据，尤其是 PII，尤其是在使用外部 LLM 时。

·协作：为由数据科学家、ML 工程师和应用程序开发人员组成的不同团队提供高效的工作流程支持。

·适应性：快速演进以集成新的 AI/ML 技术并适应不断变化的环境。

·成本效益：管理大规模 AI 的计算费用，并在可能的情况下进行优化。

·核心产品：微调/定制自托管 LLM，为 Uber 的内部用例量身定制。

推动因素：

·数据流水线：用于收集和处理数据、提取、转换的系统。

·调色板：用于管理、共享和访问 Uber 特征的功能的特征存储。

·数据处理和准备：用于收集、清理和转换传统 ML 和 LLM 数据的工具。

·知识整合：将 LLM 连接到知识库、API 和 Uber 特定的数据源，以实现基础和上下文。

工具（推动因素的一部分）：

·发展： Michelangelo Studio （MA Studio），用于基于 UI 的工作流程;用于代码驱动开发、版本控制和 CI/CD 的 Canvas。

·训练： Horovod、Ray、Spark，支持 TensorFlow 和 PyTorch;用于 LLM 微调和优化的专用工具。

·服务： Triton 推理服务器，米开朗基罗的实时预测服务（OPS）。

·监测：用于质量评估、特征监控、SLA 集成和 LLM 性能跟踪的模型卓越评分（MES）。

·网关：Uber 的专用网关，例如（GenAI、CO Inference），可抽象出复杂性并提供对 AI 功能的更轻松访问。

·用户界面：Michelangelo Studio：用于管理 ML 工作流的统一 UI。

法律与运营（推动者的一部分）：

·安全性与合规性： PII 修订、访问控制、偏见检测以及确保负责任地使用 AI 的机制。

·成本管理：跟踪 LLM 使用情况、设置预算并实施成本优化策略。

·模型版本控制和工件管理：确保可重复性、跟踪实验和管理模型部署。

差异化产品层：

·规模和运营效率：Michelangelo 及其集成网关旨在处理 Uber 全球范围内的 AI/ML 复杂性。

·内部平台专业知识：Uber 的 AI 平台团队对公司的独特数据、业务需求和工程环境有深入的了解。

·专注于开发者体验：MA Studio 和 Canvas 等工具与网关的抽象层相结合，优先考虑开发人员的生产力和易用性。

·混合方法：通过统一的架构将传统的 ML 和 LLM 相结合，使 Uber 能够处理更广泛的用例。

如果您已经注意到，并且在我们迄今为止所做的映射中，全产品就是平台。它使开发人员能够构建客户喜爱的产品，以他们的移动应用程序为例。在这篇文章（https://thetechnomist.com/p/platforms-products-apis-and-indian）中，我已经更详细地讨论了平台作为产品，或平台的产品。如果您正在寻找有关区别的更多详细信息，请随时进行复习之旅。

OpenAI 的 ChatGPT

到现在为止，您很可能已经使用了 ChatGPT 的变体，您没有看到的是引擎盖下运行的内容，以允许您使用公开的界面并获得您获得的聊天体验。以下是 OpenAI 演讲的图表，讲述了该平台在引擎盖下的样子以及运行 ChatGPT 并向世界展示需要什么。

https://youtu.be/XGJNo8TpuVA?si=8J3_EihGCG6fCYSh&t=1946

为了获得更多的能见度，让我们将适配的全产品框架应用于 ChatGPT：

问题：如何为各种任务和查询提供可访问、多功能且强大的 AI 帮助。

约束：

·安全和道德考虑

·可扩展性，可处理大量用户需求

·输出的准确性和可靠性

·计算资源的成本效益

核心产品：大型语言模型（GPT系列）

推动因素：

·背景/知识：针对特定任务和安全校准微调数据集

·工具使用： ChatGPT、DALL-E 和 Codex，用于代码生成和理解

·UX：ChatGPT 网页界面 + 移动应用

Ops（推动因素的一部分）：

·用于模型训练和推理的可扩展基础设施

·监控和记录系统

·用户反馈收集和分析

差异化产品层：

·GPT商店：用户和组织创建的自定义 GPT 市场

·强大的社区和用户参与度：ChatGPT 快速增长的用户群以及使用 OpenAI API 的活跃开发者社区（从某种意义上说，它已成为标准）

·持续的模型改进：定期更新（例如，GPT-3 到 GPT-4）以及与其他工具和平台的集成功能

·最先进的性能：在各种语言任务中处于领先地位

·独特的数据和反馈循环：海量网络抓取数据集用于预训练，海量用户交互数据用于模型改进。

·应用层创新： ChatGPT 插件生态系统、具有模仿功能的逼真语音、用于创建 AI 智能体的助手 API

·战略合作伙伴关系： Microsoft 合作伙伴关系，可独家访问 GPT 模型，从而增加对所有 Azure 用户的分发爆炸半径。

·基础设施：访问大规模基础设施和计算（部分由 Microsoft 合作伙伴关系提供支持）

（适配的）市场开发生命周期

到目前为止，我们一直在适配简化的全产品框架的国土上旅行。在此过程中，我们还介绍了一些真实示例来演示如何使用（或可以）使用该框架。不过，如果我们不将其适配摩尔的市场开发生命周期模型，那么它就还不是全产品框架适配。

注意：可以在此处找到下图的更高分辨率。

这一切都始于通用（核心）产品，这是一种准系统模型，吸引了优先考虑核心功能的创新者/技术人员。如果你选择一个开源的LLM（也许是为了解决一个特定的问题而微调的？）并进行测试，那将是一个核心/通用产品的例子（赋能技术是使未来全产品成为可能的核心）。这里的创新者正在熔炼这些技术--你似乎正在围绕这些技术构建你的产品（或者你可能是自己构建的）。他们可能会在这里问的问题：如何公平，我们需要它吗，我们是否有更好的选择，我们是否需要额外的支持（技能/知识？），他们（你的公司）有吗?...你需要确保你有这些问题的答案。

为了满足早期采用者的需求以及他们对一些实用解决方案的渴望，您的产品应该找到一种方法来满足期望（又名预期产品），对于您的客户试图解决的问题，您确保添加哪些关键推动因素以创建最小可行产品（MVP）？在这里，您必须已经开始聚焦特定的利基市场，并开始在产品中提供足够的推动因素，以解决 80% 的用例（他们可能愿意提供帮助，因为现在他们看到了您提供的价值）。在这个阶段，关系和反馈很重要。

现在是关键时刻，跨越鸿沟，触达早期的多数派。这个阶段通常会成就或破坏你的产品/价值主张。您将不得不进行权衡：保持吸引早期采用者的速度和创新，同时还要解决可靠性/需求，使该产品更加完整。毫无疑问，在这个阶段，其他人做同样事情的可能性很高，但无论如何你都需要穿越这里。此阶段的推动因素示例：

·用于数据采集、处理和存储的高效流水线。想想 Uber 的米开朗基罗平台，它拥有 Palette 等专门的数据管理工具。

·用户友好的界面、高效的模型训练基础设施、可观察性（在这里想想复合系统，并根据约束条件进行定制）。以我们的 Uber 为例，想想米开朗基罗工作室和他们的 AI 网关（AuthN/Z、路由等）。

·知识集成，将 AI 连接到相关知识库（可能是 RAG）、定义明确的 API 和特定领域的数据源，以增强其功能。

一旦你跨界了，就知道你已经增强了你的产品，足以使其“全”，欢迎来到实用主义者的土地，恭喜你，你有一个增强的全产品，具有定义明确的关键推动因素，可以解决客户的问题。

不过，你还没有完成！现在，您有机会告诉世界您为什么与众不同，让您与众不同，并准备好与众不同，欢迎来到差异化产品层。在这个阶段，你需要专注于突出你独特的价值主张并巩固你的目标。此处的示例可能是：

·围绕产品培养一个活跃的社区（如果你已经有了，你可能会成为赢家），并鼓励用户的贡献/反馈。Slack 和 OpenAI 都围绕他们的产品培养了充满活力的社区（有不同的方法可以做到这一点，但这不是本文的主题，也许稍后会详细介绍）。

·与主要合作伙伴合作，扩大覆盖范围，获取宝贵的资源，并增强产品的功能。例如，OpenAI 与 Microsoft 的合作就说明了这一点，授予他们计算和分发的访问权限，

·利用独特的数据集，如果你有一个社区，你可能也拥有你的产品/服务独特的数据（当然，我希望得到同意）。开发和定制您的模型，并优化您的核心优化方案，以创造竞争优势。Uber 的米开朗基罗（Michelangelo）利用其庞大的拼车数据和内部专业知识来优化 AI 以满足其特定业务需求。

随着各个阶段的进行，您会注意到产品的复杂性是如何自然地增加的，并反映了每个客户群/用例不断变化的需求和期望。上面的可视效果有望作为一个指南/框架，强调相应地调整你的人工智能产品策略的重要性，以便在生命周期的每个阶段取得成功。不适应会让你落后，而成功地倾听并不断构建/迭代可以让你的公司和你的产品进入暂时的蓝海（我们稍后会谈到），在那里你可以在你所做的事情上表现出色。

将所有内容放在一起：构建全 AI 产品

你成功了！到现在为止，您已经了解了构建全 AI 产品需要什么！让我们快速回顾一下。

在这篇文章中，我们一起踏上了一段旅程，从经典的商业原则（如马斯洛的需求层次理论）开始，到复合人工智能系统的世界，以及它们如何映射和转化为全人工智能产品。我们已经探索了成功的人工智能产品和应用的关键组成部分，并在此过程中采用了摩尔的“简化的全产品模型”，最后将我们的新框架融入了摩尔著名的模型开发生命周期框架（同样有一些调整/意见）。以下是我们旅程中的一些收获：

1.这不仅仅是关于模型：虽然 LLM 和 SLM 功能强大（开源或非开源），但它们只是成功 AI 产品配方中的一个要素。是的，开源解锁了许多潜在的好处（超出范围），但这并不意味着它可以与全产品相媲美！

2.复合 AI 系统为全AI 产品提供了良好的模式/基础：当您将模型、数据流水线、知识库、检索机制（如 RAG）、智能体、用户界面和强大的基础设施（等）组合成一个有凝聚力的系统时，AI 的真正力量就会释放出来，该系统可以很好地满足定义的约束条件。

3.差异化是关键：在快速发展的人工智能环境中，建立护城河（见上文）对于长期成功至关重要。专注于建立强大的社区，过渡到专门构建的应用程序，创造模型之外的价值，并在 AI 堆栈的各个层面实现差异化。复合护城河（阅读上文）是要走的路！

4.约束因素塑造了您的产品：明确定义您正在解决的问题以及目标受众的具体限制。这些约束将指导您选择核心产品、推动因素，甚至差异化因素。

5.经过调整的全产品框架提供了一个路线图：通过考虑框架的每一层、通用/核心产品、推动因素、约束和差异化产品层，您可以全面理解什么是有价值且可防御的 AI 产品。

构建人工智能产品并不是一项一成不变（one-size-fits-all）的工作。联邦Fed-AI 用例清单、Uber 的 Michaelangelo 或 OpenAI 的 ChatGPT（其他的许多）的例子突出了公司/机构今天用来构建 AI 产品和应用程序的不同方法和策略。通过关注用户需求，并不断创新/迭代/发现，您可以驾驭 AI 领域的不确定性，并创造出真正兑现其承诺的 AI 产品。

说了这么多，现在轮到你了，朋友：

想想你正在开发或构思的人工智能产品。使用经过适配的简化全产品框架和本文中提出的指导性问题来分析其优势、劣势和差异化的机会。请记住，构建成功的人工智能产品需要建立一种超越技术本身的视角，记住“整体大于其部分之和”，因此请确保您如何将与您的品牌、使命和战略产生共鸣的各个部分联系起来。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

超越 LLM：如何卷AI全产品

立即咨询 JOTO

想把这些做法用到你的业务里?

开启企业级 AI 落地

填写需求单