AI 世界生存手册（二）：从LR到DeepSeek，模型慢慢变大了，也变强了

咱们之前聊过的 Word2Vec 其实就是一个预训练模型，它通过大量的文本数据来学习每个词的向量表示。不过它有个挺明显的缺点：它只关注词和它附近词的关系，完全没考虑词的顺序。正因为没考虑顺序，每个词只能学到一个固定的向量，没法区分一词多义的情况。也就是说，如果一个词有多个意思，Word2Vec 只能学到它最常见的那个意思，其他的意思就被忽略了。

为了更好地解决这一问题，2018年提出的ELMo（Embeddings from Language Models）提出了一种基于上下文的方法，通过在大量文本数据上预先训练一个双向的LSTM模型（需要时序的场景，就有 LSTM的身影），为每个词生成上下文相关的embedding。

elmo 的参数量0.09B



图 67 ELMo

我们用一个例子直观感受下：

“我刚刚用手机完成了一笔支付，速度真快。”   “那家餐厅只接受现金支付，得带钱包去。”

在 ELMo 的上下文敏感模型中，“支付”这个词在两个句子中的含义有细微差别。在第一个句子中，“支付”指的是在线支付行为，而在第二个句子中则指的是传统的现金交易。

word2vec 和 elmo 都是词向量，那么一整句话的sentence embedding 呢。

sentence embedding 模型超级多，因为大模型幻觉问题产生的 RAG 方案中，是核心组件角色，承担着把文本转成向量的角色。我们介绍一下中文领域最好的模型 bge，其来源于北京智源人工智能研究院。

具体的模型结构参考了 transformer 的 encoder decoder 架构。

encoder 生成句子向量，以及一个简化的一层decoder 用于重建句子。解码器部分采用了极为简单的网络结构以及高比例的mask策略，使得解码任务变得极具挑战性。这种策略迫使编码器生成高质量的句子向量，以确保能够准确地重建原文本。



图68 bge 模型

训练方式如下：



图69 bge 模型训练步骤

1.编码阶段：首先，输入的数据会被“遮住”一部分（图中 M 阴影部分），然后模型会学习那些没被遮住的部分，生成一个句子的整体表示（sentence embedding，图中绿色部分）。这一步的重点是让模型学会从可见的部分提取关键特征。

2.解码阶段：接下来，输入的数据会被“遮得更多”（图中 M 阴影部分），然后模型会结合上一步生成的句子嵌入，尝试把被遮住的部分“猜”出来。这一步的目的是让模型学会利用上下文信息，更准确地恢复隐藏的内容。

3.强化编码阶段：最后，模型会利用句子嵌入和上下文信息，重新构建所有的输入内容，这一步是为了让模型更好地理解上下文，从而提高重构的文本的准确性。

通过这种“遮一部分、猜一部分”的方式，压迫模型最终生成更准确的sentence embedding，不然第二步和第三步无法依赖这个 embedding准确生成内容。

上边我们主要介绍了 embedding 表征模型，接下来我们主要介绍基于 transformer 的预训练模型系列，其模型很多。



图70 transformer 系预训练模型时间、参数量

图片来自论文《Unifying Large Language Models and Knowledge Graphs: A Roadmap》，可以发现其主要有三条发展路线，encoder-decoder 模式的 BART（ 来源于 facebook） 到大模型时代的 GLM（来源智谱清源），我们本次不去介绍了。

我们主要介绍下encoder-only 的 bert 系列和 decoder-only 系列的 gpt。和大家的直观感受不同，其实 gpt 出现的比 bert 要更早。其第一个版本是 gpt1。

NLP 的问题

此时训练一个 NLP 模型和我们之前做的推荐类似，针对某个任务，首先搞一些样本，然后对模型进行有监督训练。问题出在题面上。

1.样本怎么来，大量的高质量的标注不太容易获得。

2.模型训练的任务是固定的，很难学到泛化能力，没法复用到做其他任务。

这样训练出来的模型被困在了一个特定的领域，离我们想要的 AGI（人工通用智能）有点远。

GPT的解法

2018 年 6 月Openai 发布第一个 GPT 版本。论文：《Improving Language Understandingby Generative Pre-Training》

其思路如下：

1.用了4.6GB的BookCorpus数据集（该数据集主要是小说，openai 为了验证技术可行性，特意选了未出版的 7000 本书），无监督训练一个预训练模型，即generative pre-training，GPT 名字的由来。

2.对于子任务，用有标签的小的数据集训练一个微调模型，discriminative fine-tuning。



图71 gpt 模型架构+微调方法

微调方式具体来说，可见上图右图部分。

对于每个任务，输入会被构造成一个连续的 token 序列。分类任务，会将输入文本拼接成一个序列，并在开头添加一个特殊token-start，在结尾增加 extract然后经过模型+线性层后输出结果，对于相似度的文本比较有趣，比如看 A 和 B 是否相似，那么就组成个序列分别为 AB 和 BA，其输入模型后，最终通过softmax 判断，是否相似，是个二分类问题。第四个问答其实是一个多分类问题。

这四个任务有一个共性，就是我们只需要对输入做定制化，输出做一些定制，但是中间的 transformer 模型不会去动它。

左图：GPT是一个transformer decoder-only的结构， MHA +add&norm 的 Block 其用了 12 层，参数量 0.11B，对，此时它还很小。另外输入的token 用了word2vec做了 embedding 表征。

收获

GPT1 可以认为是 openai 的一个试水版本，其主要验证了预训练+微调的方式能不能通过自回归的方式 work，这是一条全新的路子。事实仅仅证明可以，但是效果不是特别理想，落后于encoder-only 的 bert 方案，



gpt1发布4 个月后的 2018 年 10 月，Google 出品了 bert，选择了 encoder  only架构， base 模型的参数量和 gpt 一致（故意设计的一致，一较高下），学习的数据除了 gpt 的BookCorpus 还学习了Wikipedia（只学了英文），数据量用了16GB，是 gpt1 的三倍多。

bert 的学习方式和 GPT1 类似，都是先预训练后微调。预训练阶段从输入句子中随机选择约 15% 的token并将其遮盖，然后让模型补齐这些隐藏内容，最终完形填空做多了，模型学会了所有词的上下文关系。

bert 设计了几个尺寸的模型，分别为 base 0.11B ，large 0.34B



图72 bert 性能

bert 论文中在几个任务上（QQP 和 MRPC 的结果报告为 F1 分数，STS-B 为Spearman相关系数，其他任务报告为准确率分数）对比了 gpt，结果是全方位领先。

收获

让更大的模型（bert-large） 学习更多的数据，可以显著提升模型的性能。

bert 发布后的 4 个月后，2019 年 2 月，openai 将 gpt 版本升级到 v2.

如果说 gpt1 证明了路可走，bert 证明了增加数据量可以有成效。那此时 gpt2 的问题变成了，怎么采集更巨量的数据，然后让模型去无监督学习。

首先 OpenAI 专门为 GPT-2 构建的一个数据集，通过从互联网上爬取高质量网页内容（特别是 Reddit 上获得超过 3 个赞的外链网页）来构建了WebText数据集，加上其他公开的数据集，一共 40GB，相比较于第一个版本数据提升了 10 倍左右。

然后 openai 和 google类似，同时设计了多个尺寸，gpt2  有四个尺寸的模型，分别命名为 small medium large 和 extra large。其中extra large的参数量已经来到了 1.5B。



图73 gpt参数

layers 我们已经很熟了就是 注意力block 的层数， dmodel 其实就是词向量的维度，我们在 word2vec 提到过的概念。在模型上，主要的改动是将 norm 后置换成了前置。这个思路其实被后来的开源大模型沿用了，比如 qwen 、llama 等



图74 llama 架构

zero-shot learning

gpt1 的思路是先预训练然后微调，在微调阶段，模型可以通过学习任务特定的输入格式（如Start、Delim、Extract 等特殊 token）来适应下游任务，利用这些特殊 token 帮助模型理解输入的结构和任务类型，模型是在微调阶段慢慢学会这些 special tokens，知道它们出现的时候要做什么任务。问题出在special tokens需要去特殊定义，多了一步数据标注的工作。

openai 的愿景更宏大，可不可以跳过这种方式微调，或者直接不微调。其提出了Zero-shot learning概念，即适应下游任务时，不修改模型参数，不需要任何额外的标注信息。

为了在 Zero-Shot 任务中让模型理解任务需求，GPT-2 引入了 prompt 的概念，嗯，就是我们现在常说的提示词。prompt 通过将任务描述直接拼接在输入文本中，引导模型生成符合任务要求的输出。

prompt 使用自然语言描述任务，例如：

• 分类任务：判断以下文本的情感是正面还是负面：{文本}

• 翻译任务：将以下英文翻译成中文：{英文文本}

效果怎么样呢，其实挺好的，依赖zero-shot，gpt2 在7 个任务上成为 sota。



图75  模型性能

但是文本摘要总结任务中表现不佳。



图76  gpt2 文本摘要性能

收获

在论文中提到，“Our speculation is that a language model with sufficient capacity will begin to learn to infer and perform the tasks demonstrated in natural language sequences in order to better predict them, regardless of their method of procurement. If a language model is able to do this it will be, in effect, performing unsupervised multitask learning.”

这其实就是我们现在常说上下文学习能力In-Context Learning的雏形。如果有了更强的 ICL ，就可以用prompt 的形式和模型进行各种对话了。

而 zero-shot 是明显区别于 bert的关键（gpt 预训练+prompt，bert 预训练+微调）因为 bert 的设计原因，适应下游具体任务是微调阶段获得的，不是通过预训练阶段，所以 bert 并没有再预训练阶段变大，甚至很多工作是想办法将预训练模型变小，获得一个又小又好的模型。

而 gpt 在持续增大的过程中发现性能也在提升，更是在后来发现了大模型的专属Scaling Law，如摩尔定律一般指导大模型的演进。

既然增大了数据量，模型学会了 zero-shot，是不是继续增加，模型还会有潜能被激发。2020年6月 openai 发布 gpt3。



图76  gpt3语料

数据集方面，Openai 主要用了一个网站爬虫数据集（Common Crawl），大约有 45TB，过滤后，只有 570GB，这大概相当于 400b tokens。在训练时，openai 会对不同质量的数据集有区别的采样，比如CommonCrawl 和 Books2 数据集在训练中被使用的次数不到一次，而其他一些数据集则使用了 2 到 3 次。这种做法实际上是用少量的过拟合风险来换取更高质量的训练数据。

模型方面其提供了更多尺寸，直接从 gpt2 的最大1.5B 增长到 175B，膨胀 100 倍。



图77  gpt3 模型参数

在 gpt3 中，模型涌现了真正的ICL，通过实验发现 few-shot 效果很好，所以gp3 的论文是《Language Models are Few-Shot Learners》。



图78  few-shot

模型表现很优秀，在很多领域都比肩或者超过了有监督微调的 SOTA 模型。

比如翻译 few-shot 有三个工作超过了 sota：



图79  gpt3模型性能

常识推理，在 PIQA  物理常识推理测评中超过 sota：



图80  gpt3 模型性能

因为表现不错，openai 部署了几个版本的 gpt3，开放了 api 实现了商业化。

收获

更大的模型+few shot无限逼近或者超过了经过微调的的 sota 模型，few-shot 的方式可以提升模型的性能。



图81  gpt3模型性能

第二个比较有收获的事情是，在实验过程中，发现最后不同参数量，算力、模型性能之间最终都会拟合到一条线上，这就是后来大家熟知的Scaling Law，openai 在 gpt3 正式发布之前几个月专门写了一篇论文介绍这个现象，《Scaling Laws for Neural Language Model》。



图82  Scaling Law

gpt3 之后，距离我们熟知的 chatgpt 还有一段路要走。

主要解决的问题是让语言模型变得更大并不一定能使其在遵循用户意图方面表现更好。例如，大型语言模型可能生成不真实、有毒或根本无助于用户的输出。换句话说，这些模型与用户并不对齐 。需要解决三个问题：

1.helpful——有用性，帮助用户解决问题

2.honest——诚实性，不能伪造信息或误导用户

3.harmless——无害性，不能对人或环境造成身体、心理或社会伤害

具体怎么做呢，如果我们把 GPT3 当做一个刚毕业的学生，需要告知他社会的真相，比如可以做 A 不可以做 B。

openai 的具体做法是先 SFT，微调一个微调模型。训练一个对齐人类喜好的 RM 模型，用来后续代替真正的人类评价模型输出是否符合人类表达。最后用这个 RM 模型以 PPO 的方式训练第一步的 SFT 模型。这里产生了大模型后训练的范式，SFT+RLHF

最终效果对比，其中下图的 GPT 指的 GPT3 模型（175B），优化下用 few-shot prompt 可以带来性能提升，sft 和 PPO 的模型表现会更优秀一些，更甚者  1.5B PPO 模型，性能也明显比 175B 的 GPT3 好很多。



图83  模型性能对比

上述的 PPO-ptx 表现更好，也就是我们后来常听说的 InstrcutGPT。

收获

从 GPT3 到 chatgpt：其经过了几个版本的迭代，这里有一个有趣的现象，在 GPT3 基础上用 code 训练了代码模型，模型在学习代码的过程中，提升了自己的推理能力，然后在代码基础出上做PPO 得到了一个推理能力更强的模型，最后经过了几轮演进，才有了我们的 chatgpt。 



图84  chatgpt 的演进过程

2022 年 11 月 30 日， OpenAI 首次向公众开放 ChatGPT。

有了 chatgpt，大家都可以通过大白话 prompt 和大模型进行对话了。

后来大家发现在写 prompt 的过程中，如果指定模型的处理步骤，并让模型按照步骤一步一步处理，往往能得到更好的回答，这种方式称为 COT。其实我们想一下 cot 的本质是什么，其实是把我们的推理逻辑作为上下文，让模型在产生下一个 token 的时候，每次都可以看到这个逻辑，有效利用额外的计算，带来了性能的提升。

这个思路也被接下来的模型借鉴了，模型多做一步自己会生成这个 cot，这样我们写prompt的时候就不用写cot 了，原理就是这么朴实无华。

具体来说就是把推理过程加在 label里让模型去学习。如果说以前的大模型是学习数据，这种更像学习了这个具体的推理思维，为了区别于之前的大模型一般称为推理大模型。比如 gpt o1 deepseek r1。

   

图85 来源a-visual-guide-to-reasoning-llms



图86  gpt 推理模型对比

收获

openai 用强化学习算法训练 o1 ，让模型学会如何利用cot进行高效思考。过程中发现，o1 的性能随着更多强化学习（训练时计算资源）和更多思考时间（测试/推理时计算资源）的投入而持续提升，发现了test-time scaling law或者用更通俗一点叫inference-time scaling law 推理的scaling law 。



图87  test-time  scaling law

我们之前介绍的 openai 发现的大模型预训练阶段通过增加算力、数据、参数的方式提升模型性能的的scaling law，一般称为pretrain-time scaling law。但是随着人类的知识用完，再增加另外两个数据也带不来模型性能的提升了，预训练的scaling law见顶。

o1 证明了如果增加推理阶段的计算量可以提升模型性能。假设公司有 1w 张 GPU，能提供的算力是固定的，现在问题是，怎么合理分配训练阶段和推理阶段的算力，让模型性能最大化。

Google 在论文《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》提到了做的实验，利用一个小尺寸的模型（更少的预训练计算量）+更多的推理计算量，和一个大了其 14 倍的预训练模型（更多的预训练计算量）进行性能对比，并且让两者的总的计算量保持一致。小模型靠着提升推理计算量，表现居然比大模型还好（在更复杂的问题上不是很明显，但是不影响最终结论）。

其证明了一种趋势，即在预训练时花费更少的计算量，同时增大推理阶段的计算量。

deepseek 经过了三个大的版本迭代，24 年底发布了v3版本。关于 deepseek 的核心 MLA+MOE上一篇我们提过了，这我们不再赘述了，我用类似 Openai 怎么通过gpt3搞出 chatgpt 的过程，介绍从 deepseek v3 （最强工具人）怎么一步一步演进出的 R1。

第一步 r1 zero

在这个阶段， 跳过 SFT 直接 RL(GRPO)出来 R1 zero 模型。让模型生成答案，发现答案质量参差不齐，人工从输出中选择了一些质量高的COT 样本，这个样本的推理步骤都很长，更详细更细节。



图89  r1 zero

第二步 sft+rl

上一步产生的 COT 样本，微调 deepseek v3 版本，得到一个微调模型。然后再利用强化学习让sft 模型学会代码推理等能力，产生一个强化学习版本 v1模型，我们简称 rl v1。



图90  sft+rl

第三步 样本准备

从存量非推理微调样本中，让 deepseekv3 采样并添加 cot，最终选了 20w 这种样本，具体做法是通过样本中的QA对，让模型反推补cot。利用我们上一步得到的 rl v1 这个模型产出 60w 具有 cot 的推理类型（Reasoning）的样本，具体做法是让 rl v1 产出多个答案，用deepseekv3做选择。这里说的推理指的是任务维度的，推理任务一般是代码、数学等任务。

这一步一共得到了 80w 样本，都具有 cot，样本格式对齐了。



图91  产生 cot 样本

第四步  得到R1

利用上一步得到的样本，用deepseekv3 微调，然后强化学习，最终得到了deepseek r1。



图92  训练出r1

当然这个样本还被复用来蒸馏了其他小尺寸模型，比如 qwen 和 llama。

上述的过程全图如下：



图93  deepseek 训练全景

此前世界开源大模型双子星是 Llama 和qwen。随着ds 出圈之后，国内大模型也变成了双子星deepseek+qwen，简称 DQ ?



图94  oc 榜单

我们前边一直在说的其实是文生文，那文生图或者图生文等多模态大模型呢。

VIT

Transformer原本主要应用于NLP领域。2020年google将NLP领域的Transformer借鉴到CV领域，即ViT(Vision Transformer)，在多个视觉任务中取得了成功。

如果图片切成小块，然后变成一个序列，这个序列是不是就类似于一段文本了，因为 transformer 处理的是 embedding，其实它并不 case我们输入的是文本还是图片。知识需要前置做一些工作，将图片切分成 patch，例如 16x16 像素，然后压缩成 embedding，就可以输入到 transformer 中了。是不是特别像我们之前说的 transformer 做推荐的思路，两者都需要将原始输入（图像 patch 或用户行为）转换为embedding，输入到 Transformer 中。‍



图95  vit

理解+生成



图96  多模态范式来自论文《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》

我们一般怎么用多模态模型，是用一句话让模型生成张图片，或者给一张图片输出图片的总结。那么就需要将图片和文本等多种模态一起喂给大模型，让其一起理解。

比如可以用vit 将图片转成 embedding，用 hubert 表征语音，然后将这些 embedding 用MLP 投射到同一空间。然后将统一后的 embedding 输入到一个文本大模型中，这个大模型输出的是 tokens。如果是文本就直接输出了。如果是图片等模态的就再经过一层 MLP 做输出投射，然后就可以借助如 stable diffusion 生成图片，利用 zeroscope 生成视频。

我们发现很多模型都是现成的，核心工作在两次 MLP 的模态对齐，训练阶段主要用文本+各种模态的数据对，比如文本-图片，来训练。模型的架构也被分成了理解和生成两个大的模块。



图97  gemini

Gemini出自Google ，它的最大特点就是能同时处理 文字、图片、音频、视频这些不同模态的数据。简单来说，它不仅能看懂文字、听懂语音，还能理解图片和视频里的内容，能根据文字生成图片，或者根据视频生成文字描述。

Gemini 基于 Transformer架构，但它做了很多扩展，专门用来处理多模态数据。比如，它有一个多模态编码器，可以把文字、图片、音频这些不同类型的数据转换成统一的格式，然后用跨模态注意力机制来捕捉它们之间的关系。这样一来，Gemini 就能更好地理解复杂任务，比如根据一段文字生成一张图片。

Google 和百度的大模型都影响力不是很大，大模型对话问答的方式，最直接影响的就是传统搜索（传统搜索可近似看成单轮对话）。传统搜索通过出列表的方式(可以夹杂个性化广告)，向用户推荐广告，而广告业务又是他们的核心营收。所以搞一个很牛逼的大模型似乎是在革自己的命，另外上述束缚也会影响其做出更强大模型的决策，比如柯达为了卖胶卷，最后被数码相机革命了。

deepseek 在 25 年初除了 r1 还发布了多模态模型--Janus-pro，从 1.3b的Janus演进而来，是个 7b 多模态模型。



图98  janus 模型结构

Janus的结构如上图所示，对于图片和文本分别应用了独立的编码方法将原始输入转换为特征，然后由统一的transformer 进行处理。对于文本理解：使用LLM内置的分词器将文本转换为离散ID获取每个ID对应的特征表示。对于图片理解使用SigLIP编码器提取特征，这些特征会被从2D网格被展平为1D序列，然后使用MLP将这些图像特征映射到LLM的输入空间。对于图片生成任务，换了 VQ 来做提取特征，然后用 MLP 将特征映射到LLM 输入空间。

训练



图99  janus 训练过程

训练分了三个阶段：

首先训练适配器和图像头部，这一步的目标是让模型能把图片和文字联系起来，这样它就能看懂图片里的东西，还能试着生成一些简单的图片。冻结了视觉编码器和语言模型的部分，只训练适配器和图像头部这些小的部分。

然后统一预训练。这一步要让模型学会同时理解文字和图片，还能根据文字生成图片。会把语言模型也放开训练，用上了各种数据：纯文字、图文结合的数据，还有文字生成图片的数据。一开始会用 ImageNet-1k 这种简单的图片数据让模型学会基本的图片生成，然后再用更复杂的文字生成图片数据让它变得更好。

最后监督微调。最后一步是让模型变得更听话。用一些指令数据来微调模型，除了生成图片的部分不动，其他部分都会调整。主要关注模型的回答，忽略掉用户和系统的提示。为了让模型既能理解图文，又能生成图片，不会针对某个任务单独训练，而是混合使用文字对话、图文理解和图片生成的数据，确保它在各种情况下都能表现得好。

在 pro 版本的图像生成训练，为了提升性能加入了约7200万个合成的数据样本，真实数据和合成数据一比一，训练时收敛更快，而且生成的图像不仅更稳定，而且更美了。



图100  oc 多模态榜单

Janus的真实表现应该还不太亮眼，单看 oc 榜排名 100 名开外。同榜单智谱的 GLM、阿里的qwen 、腾讯的混元、蚂蚁的百灵都表现很不错。



图101  oc 多模态榜单

毫无疑问 2025 年初的 deepseek 如 2022 年底chatgpt一般点燃了大众对 AI 的热情，相信这个惊喜还会继续，下一个接棒会是谁，乾坤未定，一切都未可知