大语言模型

OpenAI o1深夜炸场，核心贡献者有哪些？我们看到了大量华人的名字

2024 年 9 月 13 日

这篇文章系统梳理了 OpenAI o1模型背后的核心人才。

今天凌晨，OpenAI 震撼发布 o1 大模型，酝酿已久的「草莓」终于面世。

新模型能够进行复杂推理，具备真正的通用推理能力，可解决比以往的科学、代码和数学模型所能处理的更难的问题。它在一系列高难基准测试中展现出了超强实力，相比 GPT-4o 有巨大提升，甚至能在博士级别的科学问答环节上超越人类专家（详情请参见《刚刚，OpenAI 震撼发布 o1 大模型！强化学习突破 LLM 推理极限》）。

虽然 o1 很强，但有趣的是，它并不会尝试去推理和解答「黎曼猜想」这类人类自己还没解决的难题，以至于 Andrej Karpathy 忍不住吐嘈说它很懒。

对于 o1 模型背后的那些贡献者来说，这一天可以说非同寻常。在模型正式发布后，他们终于可以公开谈论这一成果。每个人脸上都洋溢着轻松的笑容。

OpenAI o1 幕后团队在模型发布后接受了简单的采访，解释了与 o1 相关的推理的含义、研发过程中的「Aha moment」、用强化学习训练模型来生成和磨练它自己的思维链等内容。

其中，思维链提出者 Jason Wei 在第一时间就分享了自己提炼出的经验和感悟。

Jason Wei 提到，OpenAI o1 虽然很强，但能够激发它潜力的提示却没有那么好写。因此，针对该模型的提示工程还是一个待研究的问题。

OpenAI API 文档中提及的提示建议。示例参见：https://platform.openai.com/docs/guides/reasoning/advice-on-prompting

此外，参与该模型安全相关工作的 Lilian Weng（OpenAI 安全系统团队负责人）也发表了推文，表示 o1 的安全性和稳健性也得到了显著提升。这表明，「能力和安全并不是两个相互冲突的目标」。

在过去的几年，Lilian Weng 一直以博客的形式进行高质量的技术分享，几乎每篇博客都是精品，被很多 AI 研究者视为重要的参考资料。所以，在她的推文评论区，大家已经在催更了。如果后续有更新，机器之心将第一时间跟踪报道。

OpenAI o1 是一个庞大的项目，背后藏着一支强大的研究团队，Jason Wei、Lilian Weng 都是其中之一。在一个单独的博客中，OpenAI 列出了该项目的所有贡献者。有意思的是，已经离职的前首席科学家 Ilya 也出现在了核心贡献者名单中。所以，这个 OpenAI o1 就是 Ilya 所看到的吗？还是说，他看到了更了不得的东西？

在这篇文章中，机器之心对 o1 项目的贡献者名单进行了梳理。

推理研究核心贡献者

Ahmed El-Kishky

Ahmed El-Kishky 是 OpenAI 的一名 AI 研究员，他于 2024 年 2 月加入该公司，至今才 8 个月的时间。在此之前，Ahmed 在 X（原名推特）、Meta 等公司任职。他本科毕业于塔尔萨大学、博士毕业于伊利诺伊大学厄巴纳 - 香槟分校，导师是韩家炜教授。

Ahmed El-Kishky 主要研究方向包括大规模机器学习，自然语言处理，图机器学习和推荐系统。

Daniel Selsam

Daniel Selsam 于 2022 年加入 OpenAI，现在是该公司的一名研究员，曾任职于微软，还在 DeepMind（现在为谷歌 DeepMind）做过实习生。Daniel Selsam 博士毕业于斯坦福大学，他还是 GPT-4 的贡献者。

Francis Song

Francis Song 在 2022 年 6 月加入 OpenAI，至今已经 2 年多了，现在是一名技术人员。在加入 OpenAI 之前，Francis Song 是 DeepMind 的一名研究科学家。此前，他博士毕业于耶鲁大学。

Giambattista Parascandolo

Giambattista Parascandolo 现在是 OpenAI 的一名 AI 研究科学家，目前在 OpenAI 领导一个团队，专注于解决模型推理问题。他在 2021 年加入 OpenAI，至今已经三年多了。此前，他任职于 DeepMind 等机构。博士毕业于苏黎世联邦理工学院。Giambattista Parascandolo 还参与过 GPT-4 的研究。

Hongyu Ren

Hongyu Ren 在去年 7 月加入，现在是 OpenAI 的一名研究科学家，他还是 GPT-4o 、GPT-4o mini 的核心贡献者，并致力于 GPT-Next 的研究。Hongyu Ren 本科毕业于北京大学、博士毕业于斯坦福大学。此前，他在苹果、谷歌、英伟达、微软等工作过。

Hunter Lightman

Hunter Lightman 现在是 OpenAI 的一名研究工程师，于 2022 年加入。他本科毕业于宾夕法尼亚大学。

Hyung Won Chung

Hyung Won Chung 现在是 OpenAI 的一名研究科学家。研究重点是大型语言模型。在那之前，他在谷歌大脑工作，并在 MIT 攻读博士学位。

他曾参与过一些重要项目的研究工作，比如 5400 亿参数的大型语言模型 PaLM 和 1760 亿参数的开放式多语言语言模型 BLOOM。机器之心也曾介绍过他为一作的论文《Scaling Instruction-Finetuned Language Models》。

扩展阅读：OpenAI 科学家最新大语言模型演讲火了，洞见 LLM 成功的关键

Ilge Akkaya

Ilge Akkaya 在 2019 年加入，现在是 OpenAI 一名工程师，专注于程序合成研究。Akkaya 博士毕业于 UC Berkeley。还参与过 GPT-4 的研究。

Ilya Sutskever

虽然 Ilya 在今年 5 月离开了 OpenAI，但还是出现在了 o1 的核心贡献者名单中。几天前，Ilya 新成立的公司 SSI（安全超级智能）刚完成 10 亿美元的融资，估值达到 50 亿美元。关于 Ilya 与 OpenAI 的故事，大家可以参考这篇文章「突发！Ilya Sutskever 成立新公司 SSI，安全超级智能是唯一目标与产品」，了解更多内容。

Jason Wei

Jason Wei 现在是 OpenAI 一名研究员，于 2023 年 2 月加入。此前，他从 2020 年到 2023 年担任 Google Brain 的研究科学家。Jason Wei 是思维链的提出者，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文，还参与过 GPT-4 研究。

Jonathan Gordon

Jonathan Gordon 于 2020 年加入 OpenAI，现在是 OpenAI 的一名研究科学家和团队负责人，主要研究大型语言模型，还参与过 GPT-4 的研究。此前，Gordon 博士毕业于剑桥大学。

Karl Cobbe

Karl Cobbe 早在 2018 年就加入 OpenAI，至今已经 6 年多了。他本科毕业于斯坦福大学，主要研究方向是人工智能和强化学习。曾参与过论文《Let’s Verify Step by Step》，这篇论文作者包括 Ilya Sutskever、John Schulman、Jan Leike 等知名大佬。

Kevin Yu

Kevin Yu 在 2022 年加入 OpenAI，现在为 OpenAI 一名研究员，他博士毕业于加州大学伯克利分校。

Lukas Kondraciuk

Lukas Kondraciuk 于 2022 加入 OpenAI，现在是一名研究员。此前，他还任职于谷歌、英伟达。本科和硕士均毕业于华沙大学。还参与过 GPT-4o、GPT-4 的研究。

Max Schwarzer

Max Schwarzer 于 2023 年 11 月加盟 OpenAI，致力于提升机器学习系统的能力。他毕业于蒙特利尔大学，曾是约书亚・本希奥（Yoshua Bengio）建立的 Mila 实验室的博士生，专注于强化学习和自监督学习领域的研究。

Mostafa Rohaninejad

Mostafa Rohaninejad 在 2023 年 10 月加入了 OpenAI，成为 AI 科学家（AI Scientist）团队的一员。他是元学习领域知名的 SNAIL 架构的二作，详情可以参见机器之心此前的报道：入门 | 从零开始，了解元学习。他在加州大学伯克利分校获得了学士和硕士学位。加入 OpenAI 之前，他曾就职于工业机器人公司 Covariant，BAIR 实验室。同时，他还是一名举重运动员。

Noam Brown

Noam Brown 在 2023 年 6 月入职了 OpenAI ，现在是一名专注于多步推理、自我博弈和多智能体 AI 的研究员。他在今年五月刊发的新论文「The Update-Equivalence Framework for Decision-Time Planning」提出了一种新搜索方法，解决了模型长路径搜索的问题，有人猜测 OpenAI o1 采用了类似方法。

此前，他是 Meta FAIR 的一员，主导了曾火遍一时的 CICERO 项目。这是第一个在策略游戏《Diplomacy》中达到人类水平表现的 AI，可以参阅机器之心此前的报道：争取盟友、洞察人心，最新的 Meta 智能体是个谈判高手。

随后，他开发了第一个在无限注德州扑克中击败顶尖人类选手的 AI：Libratus 和 Pluribus。Libratus 获得了马文・明斯基奖，以表彰其杰出成就。Pluribus 登上了《Science》杂志封面，并入围了 2019 年《Science》杂志年度突破奖。机器之心也曾详细报道过 Libratus 和 Pluribus。

拓展阅读：

学界 | Science 论文揭秘：Libratus 如何在双人无限注德扑中击败人类顶级选手

7 papers | 多人德扑 AI、手机 GPU 上的亚毫秒级人脸识别

加入工业界之前，他在卡内基梅隆大学获得了计算机科学博士学位。更早之前，他就任于联邦储备委员会的国际金融市场部门，专注于金融市场中的算法交易研究。

在推特上，有人怀疑Noam Brown是新模型的领导者，但他澄清说自己不是，并表明该项目是团队协作的产物。

Shengjia Zhao

Shengjia Zhao 于 2022 年 6 月加入，现在是 OpenAI 的一名研究科学家，主攻 ChatGPT。他是 ChatGPT、GPT-4、GPT-4o mini 的作者之一。他的主要研究方向是大语言模型的训练和校准。此前，他本科毕业于清华大学，博士毕业于斯坦福大学。

Trapit Bansal

2022 年，Trapit Bansal 加入 OpenAI 成为了一名研究员，直接对接 Ilya Sutskever。他是马萨诸塞大学阿默斯特分校的计算机科学博士，主要研究机器学习和自然语言处理。他关于元学习（meta-learning）的研究获得了 2018 年 ICLR 的最佳论文奖，他的多篇论文也曾入选 EMNLP、ACL Oral。

Vineet Kosaraju

Vineet Kosaraju 在 2020 年就已加入 OpenAI，是数学生成团队（Mathgen）的一员。他在斯坦福大学完成了计算机科学的学士和硕士学位，主要研究计算机视觉与自动驾驶技术。他是现在流行的大模型能力测试集 GSM8K 的作者，是大模型可以搜索网页并产出回答的 WebGPT 技术的开发者，也是大名鼎鼎的《Let’s Verify Step by Step》论文二作。

Wenda Zhou

Wenda Zhou 于 2023 年 7 月入职 OpenAI，在此之前，他曾就职于纽约大学等机构。他本科毕业于剑桥，博士毕业于哥伦比亚大学，曾在 NeurIPS、ICLR 等顶会发表多篇论文。

他的研究兴趣集中在高维统计学、压缩感知和深度学习领域。最近，他在探索机器学习在不同情境下的应用，比如数据压缩和化学。

以上介绍的是基础贡献者，完整的「推理研究」部分的名单如下：

推理技术安全贡献者

在「推理技术安全」版块，OpenAI 列出了与新模型相关的贡献者。除了 Lilian Weng，里面还有很多其他华人科学家的身影。其中担任领导职位（o1 Safety Leads 和 Safety Leadership）的包括：

Jieqi Yu

Jieqi Yu 是 OpenAI 的工程经理，2023 年 8 月加入 OpenAI。

她本科毕业于复旦大学，期间曾在香港科技大学短暂交流，2012 年在美国普林斯顿大学拿到电气工程博士学位。

在加入 OpenAI 之前，她在 Facebook 工作了 12 年（包含实习）。

Kai Xiao

Kai Xiao 是 OpenAI 的机器学习工程师，在麻省理工学院获得学士学位，随后获得计算机科学博士学位。

他在个人资料中写道，「我的博士研究主要集中在稳健可靠的机器学习方面。我有兴趣了解当前机器学习实践造成的 bias，包括我们对模型架构、训练算法和数据集的选择。此外，我还想开发一些方法，让模型更稳健地应对这些不必要的 bias。我希望，通过识别和修复这些 bias，机器学习可以为现实世界的部署做好更充分的准备。」