学习笔记 | 红杉AI Ascent 2024预判的AI革命

01

AI 具备创造和推理能力，提供了完整的左右脑，实现与人类的自然交互，将会创造新的数十万亿美元的市场

观点来自红杉合伙人 Pat Grady

不同于过去的技术和 AI，生成式 AI 具备2个关键能力：

1) 创造，比如生成文本、图像和音视频

2) 推理，比如进行任务的拆解和规划

这2个能力意味着，软件已经可以同时右脑的创造性和左脑的逻辑性，说明软件有史以来第一次具备了人类的交互能力，这将会带来商业模式的深刻变革，意味着一个新时代的到来。

回顾过去的云计算时代和移动互联网时代，每个时代都在Infra、安全、数据、开发、应用层诞生无数营收超过10亿美元的公司。展望未来的10-15年，预计AI领域将会出现40-50个新的公司，这个行业目前潜藏着巨大的机会。

02

AI 在客服领域基本 PMF，正在法律、编程、视频生成等行业落地，商业化速度比 SaaS 快10倍

观点来自红杉合伙人 Sonya Huang

客服领域，Klarna 的 CEO Sebastain 曾经在 Twitter 公开表示，Klarna 已经在用 OpenAI 处理 2/3 的客服查询，替代了相当于 700 名全职客服。因此判断，AI在客服领域基本达到PMF（Product Market Fit，产品满足市场需求）。那么这个市场有多大呢，目前全球有数千万呼叫中心客服，过去的工作模式正在发生改变。

法律行业，在一年以前被视为最不愿意接受科技、最不愿意承担风险的行业之一，现在出现了像 Harvey 这样的公司，全球大多数顶级律所都在与 Harvey 密切合作，AI 正在覆盖从日常繁琐的工作到更高级分析，自动化律师们的工作。

编程领域，行业已经从一年前用 AI 协助写代码，发展快速发展到能够独立完成任务的 AI 软件工程师，比如说前段时间很火的 Devin。

视频生成领域，出现了 HeyGen 这样的公司，帮助用户生成虚拟形象参加会议。

AI 的进展有多快呢？据估计，生成式 AI 在出现后一年间，创造总收入约为 30 亿美元，其中还不包括各大云计算厂商的收入。而 SaaS 用了近 10 年时间才达到这个规模，生成式 AI 仅用一年就做到了。

03

行业还在非常早期，仍需耐心！1) 大部分资金还在涌入进入基础模型而非应用，2) 大量的钱投入在GPU，创造收入比例低

观点来自红杉合伙人 Sonya Huang

2023年，资本在 AI 领域的投资非常不平衡。把生成式 AI 拆分来看，最底层是基础模型，中间是开发者工具和基础设施，最上面是应用层。从资本市场来看，越来越多的基础模型公司出现并获得大量资金，而应用层的发展似乎才刚刚开始。

红杉合伙人 David 曾在2023年发表了一篇 AI's $200 Billion Question 的文章，AI领域在 Nvidia GPU 上的支出仅去年一年就高达 500 亿美元，但目前 AI 行业收入只有 30 亿美元，投入产出比很低，还有很多现实问题需要解决。

04

AI 本质上是降本驱动的生产力革命

观点来自红杉合伙人 Konstantine Buhler

技术革命有很多种，通信革命比如电话，交通革命比如火车，生产力革命比如农业收割机械化。AI 主要是一场生产力革命，生产力革命有个共同的模式，最初是人使用工具 --> 人配合机器工作 --> 人与机器网络协作。这意味着，AI 的发展将经历从单点协助到高度网络化的过程，这将彻底改变人类的生产方式，可以想象AI软件、AI内容创作都会经历这样的过程。

生产力革命意味着什么？用最朴素的经济学语言来说，就是大幅降低成本。下图显示，标普 500 公司创造 100 万美元收入所需的员工数量正在迅速下降，这种变化意味着我们将能以更快的速度和更少的人力来完成工作，AI将会让成本进一步降低。

05

未来的信息将大量来自生成，而非历史输入数据

观点来自红杉合伙人 Konstantine Buhler

一年前，英伟达 CEO 黄仁勋提出了一个预言，未来图像不再是渲染出来的，而是生成出来的，任何视觉信息都将被生成。这意味着我们正在从原始数据存储，转变为抽象多维概念的表示。AI 对一个文字的理解，并不是文字代码本身，而是文字抽象的含义，可以联想到很多与该文字相关的概念。这种思想可以追溯到 2500 年前的柏拉图，他认为任何具体事物的背后，本质是一个永恒不变的抽象概念，现实中的事物都是理念世界完美形式的映射。

06

未来的公司可能像神经网络一样运作，在整个网络层面进行人机交互和优化，并催生更多一人公司

观点来自红杉合伙人 Konstantine Buhler

目前企业已经开始将 AI 集成到特定的流程和 KPI 制定中，例如前面提到的 Klarna 借助 AI 提高了客户支持相关的绩效，通过建立 AI 检索信息体系打造优质的客户体验。

以客户支持流程为例，下图是一个简易客服流程示意图。客服部门有一系列 KPI，对于一个AI客服来说，KPI 受到文本转语音、语言生成、客户个性化等因素的影响，这些因素形成一个层次明晰、互相连通的体系图，其中语言生成的反馈将直接影响服务客户的最终 KPI。通过这种抽象，客服流程将由神经网络来管理、优化和改进。

再增加企业获客环节，获客需要通过语言生成、增长引擎、广告定制和优化，让企业更好地满足客户的需求。再继续增加更多环节...这些技术之间的相互作用，可以推动企业像神经网络一样自我学习和适应。每个人类将能完成更多工作，这也会催生更多"一人公司"的出现。

07

AI Agent 是通往 AGI 的加速器，核心价值在于：自我反思、使用工具、任务拆解规划、多 Agent 协作完成复杂任务

观点来自AI教父吴恩达 Andrew Ng

人类写论文的方式是，首先起草一个初稿，然后评估、分析、修改，迭代出第二、第三个版本，直到满意为止。而目前绝大多数 AI 产品采用“Zero-shot prompting”的方式，也就是一下子生成完整答案，从第一个字写到最后，没有返回修改的动作，在真实世界中这样做，很难保证完全不出错，实际上 AI 做的还不错。

接下来，尝试给 AI Agent 增加了自我反思的工作流，也就是要求LLM对文档进行多次迭代处理，写一份论文大纲 --> 决定是否需要通过网络搜索来收集更多信息 --> 撰写初稿 --> 阅读初稿，并思考哪些部分需要修改 --> 修改初稿...，最终生成的结果比一次性生成好要很多！

拿数据说话，同样在一次性生成的情况下，GPT-3.5的正确率是48%，GPT-4的正确率是67%，而使用 AI Agent 创建自我反思工作流后，GPT-3.5的正确率显著高于GPT-4。这种现象很理解，对于一项工作任务，只有“智商”（LLM模型）不足以保证质量，更重要的是如何完成任务的方法（任务规划和反思工作流）。

吴恩达总结了4个 AI Agent 的设计模式，我认为也可以理解为 AI Agent 的价值所在，分别是自我反思、使用工具、任务拆解规划、多Agent协作完成复杂任务。

1) 自我反思（Reflection）

在这种模式中，模型不仅生成初始解决方案，还会通过多次反馈和修改，不断优化其输出，进而提高任务执行能力。

举例来说，初始任务由用户提供，例如编写特定功能的代码，模型首先生成初始版本，然后对自身的输出进行反思和评估，找出其中的不足，通过多次反馈和修改成为最佳版本。

2) 使用工具（Tool Use）

指的是模型通过调用外部工具或库来增强任务执行能力的方法。在这种模式中，模型并不仅仅依赖于自身的知识和能力，而是利用各种外部资源来完成任务，从而提高效率和准确性。

此外，可以通过使用工具来帮助LLM评估其产出，达到前面提到的自我反思（Reflection）的效果。使用代码的例子说明，通过一些单元测试来运行其代码，以检查它是否在单元测试上生成正确的结果，或者搜索网页以检查它的文本输出。然后，LLM可以反思发现的错误，并提出改进的想法。

3) 任务拆解规划（Planning）

是通过提前计划和组织任务步骤来提高效率和准确性的方法。在这种模式中，模型将复杂任务分解为多个步骤，并依次执行每个步骤，以达到预期的目标。

举例来说，根据 HuggingGPT 论文中改编，用户请求生成一个阅读书本的女孩图片，并且姿势与示例图片中的男孩相同，然后生成描述文本。第一步，使用OpenPose模型确定示例图片中的姿势。第二步，使用Google/VIT模型根据确定的姿势生成新图片。第三步，使用VIT-GPT2模型生成图片的描述文本。

4) 多 Agent 协作完成复杂任务（Multi-agent collaboration）

是通过多个智能体之间的合作来提高任务执行效率和准确性的方法。在这种模式中，多个智能体分担任务，并通过相互交流和协作，共同完成复杂任务。

ChatDev是多智能体系统的一个实例，你可以设置LLM去扮演不同的智能体角色，比如软件开发公司CEO、设计师、产品经理或测试员等，这些智能体可以相互协作，进行对话、编写代码或开发游戏，虽然代码并不总是能运行，但是这项技术正在不断进步。此外，多智能体辩论也是其中一种设计模型，你可以有多个不同的智能体，比如让ChatGPT和Gemini进行辩论，这实际上也会带来更好的性能。因此，让多个AI Agent一起工作，也是一种强大的设计模式。

结果数据显示，对于传记写作，多智能体的准确率为73.8%，显著高于单智能体的66.0%；对于MMLU（多任务语言理解），多智能体的准确率为71.1%，高于单智能体的63.9%；对于国际象棋，多智能体的准确率为45.2%，远高于单智能体的29.3%。

对于 AI Agent 的应用，吴恩达给出了几个判断：

第一，通过AI Agent工作流，AI能够执行的任务种类将显著增加。这意味着AI不仅能处理更广泛的任务，还能更高效地完成复杂任务。

第二，人们需要习惯将任务委派给AI智能体，并耐心等待其完成。随着AI智能体的能力提升，它们能在较长时间内完成更复杂的任务，这需要我们调整预期和工作方式。

第三，快速的Token（标记）生成是非常重要的。即使是低质量的语言模型，通过生成更多的tokens，也能获得良好的结果。这表明生成速度和数量可以在一定程度上弥补模型质量的不足。

第四，即使是初期的模型（如GPT-4），通过应用Agentic Reasoning方法，也能达到接近未来更先进模型（如GPT-5、Claude 4、Gemini 2.0）的性能。这意味着我们可以在现有技术基础上，通过优化工作流和方法，提升模型的实际应用效果。

08

技术角度来看，大模型的迭代，核心是不断发现的过程，而不是深思熟虑后的战略规划

观点来自 Anthropic 联创 Daniela Amodei

观众提问：“从技术上，您怎么看待研究、算力、数据的重要性，使得Claude拥有更好的表现？”

Daniela Amodei 回答，“你可能给了这个行业太多的信任，认为我们可以有一个行之有效的完美计划，先做X、再做Y...。实际上，训练模型的过程，更多是研究人员不断发现的过程，而不是提前产出详密的规划，有的时候一个很小的改进，会带来意想不到的好效果。”

09

OpenAI 联创 Andrej Karpathy 认为模型技术最有待突破的点：1) Diffusion 和 Transformer 的结合，2) 能耗效率的提升

观点来自 OpenAI 联创 Andrej Karpathy

Diffusion Model 和 Autoregression Model（Transformer）看起来都很优秀，但是现在却是完全不相连的2个点，或许应该有某种将它们连接起来的方法。

能耗效率有很大的提升空间，人的大脑功率只有大概20W，但是英伟达要建造的大型超级计算机是兆瓦量级。部分原因可能是目前的计算机不太适合这样的工作负载，或许需要新的计算机架构，来适应新的数据工作流，以及在算法上做出相应的改进。

10

埃隆·马斯克的管理风格：1) 喜欢技术专家小团队，拒绝中层管理，2) 极具活力的办公室氛围，3) 50%的时间与一线工程师交流

观点来自 OpenAI 联创 Andrej Karpathy

埃隆·马斯克以创业公司的风格管理巨大的团队，Andrej Karpathy作为亲历者，他感受到的管理风格：

1. 喜欢非常小型的高水平团队，没有非技术型的中层管理，马斯克会阻止团队的扩大，淘汰效益不佳的员工是常态；

2. 办公室的氛围是极具活力的，大家都在来回走动，研究令人兴奋的事情，尽量避免大型会议；

3. 马斯克经常出现在一线，50%的时间在跟工程师直接交流、参与解决问题，而不是通过高管传达。

HubSpot 的 CEO Brian Halligan提问，“创始人是否应该学习效仿埃隆·马斯克的管理模式，还是说这是他独特的个人风格，其他人不应该试图效仿？”

Andrej Karpathy 回答道，“我认为这取决于创始人的 DNA，当你招募团队的时候，必须事先表明公司的这种氛围，这是非常重要的，这之后团队进来后是乐意接受的，但是如果后续发生改变，团队可能很难接受。当然这种管理方式有利有弊，我觉得重要的是需要管理风格始终一致。”