大语言模型

ChatGPT6，自主进化的大模型

2025 年 10 月 16 日

ChatGPT6引领AI自我进化革命，揭秘大模型如何像人类复习笔记一样实现自主优化与学习。核心内容： 1. SEAL框架突破：通过prompt优化实现模型自我进化 2. 类比人类学习：碎片知识重组与持续优化的创新机制 3. 当前挑战与前景：灾难性遗忘问题与跨领域应用潜力

在计算机博士里，我日常除了创业与做产品工作，最大的时间花费就是看别人的论文了，其中我最近看到一篇文章，可以说是未来所有大模型的发展方向，以及实现方法。

其论文提到了在强化学习、监督学习之外，另外一种优化模型的方式，通过监督每次模型生成的机制（可以理解为prompt），从而对比结果，将结果好的prompt继续优化再来训练。

并且支持自己内容生成，将生成的内容可以用于做模型训练。

也就是AI模型的自我进化

在论文开头，论文就提到了一个比喻，模仿学生在考试前，通过碎片化的笔记本来复习考试，通过让自己记忆得到更准确的生成结果，就会用碎片化。

提到了一个举例，就是人类在考试之前都会自己记录笔记，在复习的时候都会通过阅读笔记来想起之前知识学习块，从而加深自己的记忆同时能够让考试更加容易答对通过。

依靠这种方式，AI模型也应该可以参考学生复习笔记的方式，将其零碎的知识内容首先可以自己组合、重建，并且去生成更加精准的内容。

每次内容生成后，可以判断内容效果，再来不断优化每一次的策略“prompt”，最终就实现了模型的进化。

在这篇文献里，他们也利用ARC方法（完成模型生成数据），将其碎片的数据进行组块、重建完整生成，再用模型校验自己的提示词是否最佳的，从而不断让模型具备不断优化提示词能力，也就是模型的自我进化与学习。

如上图是文章片段生成完整片段，并且用来评估。最终通过SEAL叫做自我学习大模型框架生成的准确度在仅有几块的情况下，可以达到和ChatGPT4.1的生成准确度。

相比以往的模型训练，这个模型框架最大的区别是如下图，可以理解为在生成策略的优化：Prompt

如下是文献李SEAL方法的实现效果，给出了模型输入内容之后，模型通过不断地重写，从而让模型自己提升自己，让每一次重写内容更准确。

其中第一次rewrite 和最后一次内容长度与质量都有显著的变化。

可想而知，这套框架用在图像模型也是可以的，让模型几乎0标注的进行自我训练，在用户任务完成一轮，就可以利用任务图片数据集完成训练自我提升。

这几乎就可用让医生、律师、甚至是产品经理以及写代码，可以完成自己熟悉领域越来越准，并且越来越达到自己的要求与目标范围。

在研究文献里，SEAL模型框架研究也有限制：灾难性遗忘

随着时间逐步前进，知识陈旧之后，模型拉起的准确度会越来越低，甚至是出现幻觉，所以模型会过渡拟合，以及过渡蒸馏。

现在AI模型的灾难性遗忘几乎是一个难题，曾经就有人做过实验，将一个图像利用通用模型不断的重复训练，反复把结果再来训练。

当训练超过几百次之后，就会得到女性二次元，这是因为大模型数据源采用海量数据，包含了海量女性角色、以及二次元图，所以最终过渡拟合就会成为二次元

如上图是rice university做的算法研究，将其一张图片反复训练，最终得到的结果是另外一个人物，甚至是性别都变了。

如何对过往的数据进行存储以及模型检索，是接下来这套算法需要做的衍生，在其论文里，给出了后续的研究计划，将会继续扩展到记忆的问题。

比如通过以往的数据整合与单独保存，以及过往数据调用策略的修改，从而让模型能够避免灾难性遗忘。

相比通用模型来说，SEAL模型其对于过往的数据灾难性遗忘程度要低的多，可以看见模型是有效果的。

如上图是论文里随着知识块增加，以及自己反复进化收敛，仍然会出现模型记忆丢失，在只有一段数据下，反复8次进化，从0.33变成了0.19的准确度，几乎不管是几段都会进行降低。

将其算法在不仅是prompt校准上的进化，而是对过往数据的精准度也要进行计算，从而让模型在实现自我进化的同时，不会出现遗忘，相信这就是未来ChatGPT7甚至是8的发展目标。

其实对于人类来说，到不会把以前记住的事情记错，而是会遗忘，让一个人记住以往时间的数据这一点也是很难，就想让我们现在想象小时候的记忆，我们仍然会觉得很难记得住，就是因为这些记忆碎片往往难以寻找，但是当我们找到了某一个记忆碎片或情景，就可以迅速记得到当时的更多片段情况。

这就是大脑记忆的数据检索，而目前AI模型在进化模型上，这一点反复进化会导致出现错误数据，也就是错误记忆这一点是现在团队要去做的。

ChatGPT6自我进化

从现在来看，这篇论文至少给了一个趋势，也就是一个AI大模型会包含进化能力，这样就不需要再给他数据训练了，而是自己通过日常的沟通与任务完成，他其实就在不断训练自己。

这篇文献的研究作者已经跳槽到OPENAI去了，这篇文章最大的意义就是让模型越来越聪明，甚至是对于用户来说，自己账户下的ChatGPT将会越来越懂你，并且知道你所了解的方向与知识，逐步成为超越或者完美契合你的灵魂伴侣。

让模型自我进化，而且模型的进化小到个人账户，大到整个模型基座，都是可以进化的，从而不用担心模型还需要人工来进行训练。

不再需要依靠开发者每次发版本一样release，用户就能体验到模型的新能力。

当然现在这种进化只是在模型的准确度与生成内容量，和模型在功能、多模态上还没有关系，也就是模型不能从文本模型变成图像模型，这一点进化还做不到。

以上就是这篇文献，我相信ChatGPT6以及后续模型将会更加“人”化。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

留下你的场景和痛点,我们帮你判断从哪一步开始。