SOTALAB · FRONTIER DATA
——
专家数据，才是中国 AI 实验室绕不开的下一关
一个外来者的观察
今年五月，Interconnects 的作者 Nathan Lambert 走访了中国多家头部 AI 实验室，包括 Moonshot、智谱、Qwen、蚂蚁、美团和小米。回到美国后，他写了一篇流传很广的观察笔记。
他对中国实验室的工程文化评价很高：执行力强，明星研究员的 ego 相对少，学生也能深度参与核心研发。
图1｜Interconnects 原文摘录，中国的数据产业，远没有美国成熟。
这句话让我们格外在意，因为 SoTALab 正在做的，恰好位于这个空白里：
组织领域专家，为前沿模型生产训练和评测所需的数据。
但在介绍我们具体做什么之前，或许应该先回答一个问题：
为什么中国 AI 产业明明有大量数据团队，却仍然会被一个外来观察者评价为“几乎没有数据产业”？
要理解这个空白是怎么形成的，需要回到 2023 年。
蒸馏王朝是怎么建起来的
GPT-4 发布后，国内实验室面对的时间表极其残酷：投资人希望在半年内看到对标产品，不少团队却还处在搭建阶段。从头建设数据体系，在时间上几乎不允许。
于是，蒸馏成了当时最现实的选择：调用 API 生成 SFT 数据，使用开源 instruction 数据集进行微调，而这些开源数据中也有相当一部分来自 GPT-4 等闭源模型。
必须承认，这条路当时很有效，且效果惊人。Benchmark 分数快速提升，产品得以及时上线，融资叙事顺理成章。围绕这套方法，实验室很快建立起一套成熟的工程流程。
数据团队的主要工作往往是收集、清洗和去重其他模型生成的内容，而不是组织专家生产原生数据。一些模型的拒答方式、措辞习惯乃至 prompt 模板，也会悄然烙下 teacher model 的印迹。
图2｜ Stanford Alpaca（2023）展示了早期开源模型追赶的一条典型路径：用强模型批量生成指令数据，再微调开源 LLaMA。它后来成为许多团队构造 SFT 数据的参考范式
这里没有必要做道德评判。蒸馏解决了当时真实而紧迫的问题。对于刚刚组建、需要快速追赶的团队来说，这很可能就是正确的工程选择。
只是，它也推迟了另一项投入：建设自己的数据生产能力。
当时省下的是时间和成本，没有建立起来的则是专家组织、质量控制和原生数据生产体系。在 instruction tuning 阶段，这些能力未必决定成败，因此很容易被排在优先级后面。
但也有少数实验室在使用蒸馏的同时，开始搭建自己的数据基础设施，包括内部标注体系、原生 RL 数据管线和可验证奖励信号。后来能够在 reasoning 模型上较快站稳脚跟的，往往也是这些团队。
图3｜DeepSeek-R1 的训练流程示意：模型并不是只依赖蒸馏数据，而是结合 SFT、采样、过滤、规则奖励与强化学习，逐步形成 reasoning 能力
所以这门课真正的分水岭并非“蒸没蒸过”，几乎所有人都蒸过；分水岭在于，蒸馏之外，有没有给自己留足后手，同时建设自己的数据能力。
蒸不动的那一刻
2024 年 9 月，o1 发布。2025 年 1 月，R1 开源。Reasoning model 的出现，让单纯依赖蒸馏的局限变得更加明显。
图4｜ o1、R1 发布后的同场对比：Reasoning model 的出现，让单纯依赖蒸馏的局限变得更加明显
蒸馏主要让 student 模型学习 teacher 模型的输出。在这个过程中 student 的分布永远是 teacher 分布的一个子集，它可以高效迁移回答风格、知识表达和一部分解题模式，但在这个过程中，长尾能力和探索多样性往往会受到损失。
在“回答是否像 GPT-4”仍是主要目标时，这些问题不算致命。但 reasoning 能力的训练走的是另一条路：RL with verifiable rewards，模型需要反复生成解题轨迹，再根据可验证的奖励信号进行筛选修正和强化。
图5｜ 来自 InstructGPT 论文的带注释图表：RlHF的三个步骤，使用奖励模型来对之前通过监督式微调得到的模型进行进一步优化
能力不仅来自对正确答案的模仿，也来自大量试错，以及对错误路径的持续淘汰。
这类训练需要答案明确、能够自动验证的题目，需要专家级的难度分布，也需要区分“推理过程正确”和“碰巧得到正确答案”的评价方法。它们很难完全从公开互联网中获得，普通众包也很难胜任，拿合成数据也造不出来。
如果没有专家参与，人们很难判断一道合成题是否真的有价值，答案是否可靠，以及它到底在测试什么能力。
要构造足够难、足够准确，并且有诊断价值的数据，只能来自一个地方：真正的领域专家，以及把专家判断转化为训练信号的基础设施。
于是 o1 和 R1 之后掉队的那批实验室，掉的其实并非参数量或算力，而是手里没有可以拿来做 RL 的高质量数据，以及生产这种数据的组织能力。
债，在这一刻开始还。
这门课的考试什么时候来
呼吁“重视数据”没有意义，口号谁都会喊。更有意义的问题是，怎样判断一家实验室是否真的建立了数据能力。
未来 18 个月，模型之间的差距可能会更多地集中在四类任务上：
多步数学与科学推理
长程 agent 任务
医疗法律金融等专业问题
需要复杂 judgment 的开放性任务。
这四类恰好是蒸馏最无能为力、专家数据最不可替代的地带。在这些任务上持续掉队的实验室，大概率可以反推出它的数据基建出了问题，这是一个可证伪的预测，欢迎 18 个月后回来对答案。
好消息是：这门课并非无解。中国不缺专家，缺的是把专家组织起来的产业层。
过去一段时间，SoTALab 在与模型团队合作时，反复遇到几类需求：模型已经能答对大部分公开题目，但团队不知道下一批更难的题从哪里来；模型在专业任务中给出了看似合理的答案，却没有人能准确指出问题出在哪一步；通用标注人员可以判断格式和表达，却无法评价一个法律论证、金融模型或数学证明是否真正成立。
这些需求最终都指向同一个问题：实验室真正缺的，不是更多数据，而是把专家判断变成训练信号的能力。
我们在造这座桥
写到这里应该坦白：我们对这个问题的判断带着立场，因为造这座桥正是 SoTALab 在做的事。
SoTALab 的起点是一个别人没有的资产：知乎社区长期积累的一张专家网络。这里聚集了二十多万名经过身份或专业资质验证的领域专家，包括执业医生、律师、投行分析师、数学和物理研究者，以及资深工程师。过去十几年，他们在互联网上留下了中文世界最高密度的专业问答。
图6｜SoTALab 专家网络，包含：数学推理、代码与Agent、AI for Science、垂类领域、工程/CAD、多语言/翻译、人文社科、创意/音乐/视频、通用办公等领域
但专家网络只是起点，并不等于数据能力。模型无法直接从一张专家名单中学习。它需要的是专家构造的问题、完整的推理轨迹、可以验证的答案，以及能够识别细微错误的评分标准。
真正困难的，是中间这层转换：如何把专家组织进模型研发流程，如何把专业判断写成可执行的 rubric，如何控制不同专家之间的质量差异，又如何让这一切稳定、持续地生产运转。
SoTALab 要做的，就是补上这层转换。我们把散落在专家头脑和实践中的知识与判断，转化为模型可以训练、验证和持续迭代的资产；再把已有的专家网络，逐步建设成一套可以定价、调度和质检的数据基础设施。
我们希望成为前沿模型训练资产的来源，让真正的专业知识进入前沿模型。这也是我们使命的由来：
Bridging Frontier Human Expertise
with Frontier AI
具体做的事情，沿着两条线展开：一条把专家知识送进训练，一条用专家判断照见模型的盲区
训练端｜把专家知识送进训练
在训练端，我们围绕前沿数学、投行分析（APEX 系列）、终端与代码 agent 等任务，让领域专家从源头构造问题，写下完整的推理轨迹，并给出可以验证的答案。
这些领域恰好处在公开语料最稀薄、通用标注最难进入，也是蒸馏最难覆盖的地方。
图7｜SoTALab APEX-Agents 训练数据例题，使用一个 World 模拟投行经理的真实工作电脑（文件、邮件、对话）；围绕它构建一系列 Task——每个 World 通常承载多道真实工作任务
评测端｜用专家判断照见模型的盲区
在评测端，我们想做的不是再造一张排行榜，而是让模型的错误真正显形。每道题除了参考答案，还有专家撰写的多维 rubric：模型从哪一步开始走偏，为什么走偏，是知识上不知道、计算中出了错，还是一开始就选错了路？
图8｜SoTALab 深度决策例题评分细则（rubric）及专家标准回答（golden response）
分数只能告诉我们模型输了，而好的评测才能告诉我们，它下一步该怎么变强。
判断数据质量有一个朴素的检验标准：前沿模型在上面会不会失败，失败得是否具体。
举一个我们自己数据集里的例子：一道由数学专家构建的积分题，前沿模型五次作答的平均得分是 1.6/10，失败原因清晰可循：它把一个可以初等求解的积分草率判定为“非初等”，然后在错误的前提上完成了一整套看似严密的推导。
图9｜SoTALab 高价值数学路径训练数据例题评测过程
这类样本的价值在于诊断性：它暴露的并非知识欠缺，而是判断力的缺陷，这恰恰是 RL 训练最需要的那种信号。模型答不出来的题，才是能让模型变强的题；我们内部把这个标准写成一句话：
It takes SoTA to train SOTA.
我们不认为一家公司能独自补上整个产业层的空白，但我们相当确定：下一阶段模型能力的天花板取决于有多少真正的专家智慧被转化成了训练信号——这件事美国已经开始了三年，而中文世界几乎还没动工。
蒸馏时代欠下的债，最终要用专家知识来还。
——而过去几年史无前例的竞争告诉我们：谁先开始还，谁就能领跑。
