技术前沿

AI推理，和训练有什么不同？

2024 年 3 月 26 日

如果要用一句话概括AI的训练和推理的不同之处，我觉得用“台上一分钟，台下十年功”最为贴切。

话说小明已经和心目中的女神交往数年，在邀约女神出门这件事上积累了大量的经验数据，但却依然捉摸不透其中的玄机。

借助AI技术，能否实现精准预测呢？

小明思考再三，总结出了可能影响女神是否接受邀请的变量：是否节假日，天气不好，太热/太冷了，心情不好，生病了，另有他约，家里来亲戚了......等等。

将这些变量加权求和，如果大于某个阈值，女神必定接受邀约。那么，这些变量的都占多少权重，阈值又是多少呢？

这个问题相当复杂，难以精确求解。于是小明设计了一个深度神经网络，准备基于多年来积累的存量数据对AI模型进行大量的训练，让AI自己学习其中的规律。

丰富的数据积累是小明最大的优势。于是他经过整理，把上述所有变量都准确列了出来，并和是否邀约成功也做了精确的对应。这就叫做“数据标注”。

有了数据，就把它们投喂给AI。AI读取每一组数据，采用初始的默认权值进行评估，然后得出自己分析的结果，这个过程叫做“正向传播”。

然后，就是检验AI的结果是否正确了。

这里需要引入一个“损失函数”来计算结果和正确答案之间的差距。如果结果不甚理想，会返回去优化调整权值，再次得出结果进行评估，这个过程叫做“反向传播”。

经检验，发现评估结果和正确答案近了一步。后面再经过多轮循环往复的迭代，不断通过调整参数权重逐步逼近正确答案，这个过程就叫做“梯度下降”。

经过多轮已知数据的深度洗礼，AI评估的准确度已经相当高了。于是小明结束训练，固定参数权值，修剪掉权值未激活的多余参数，宣告进入下一阶段。

是时候检验下前段时间艰苦卓绝的工作的成果了！

于是，小明挑选良辰吉日，把各项全新的参数都准备齐全并输到AI里。AI迅速地给出了自己的评估结论：女神将接受邀约！

上面的过程就叫做“推理”。

小明沐浴更衣，精心收拾，预定好电影票，小心翼翼地征求女神意见。果然，女神答应了！

此后，每次邀约之前，小明都要虔诚地让AI预测一下是否成功。事实证明，AI绝大多数时候都能说对。我们可以AI的说“泛化”效果很好。

综上，所谓AI训练，就是让神经网络从已有的数据中学习新能力的过程。

这个过程非常复杂，就像从小接受九年义务教育一样，涉及到学校、书本、老师等因素的紧密配合，数据吞吐量大，属于密集计算，花费时间训练是非常必要的。

所谓AI推理，就是给训练好的AI输入新数据，让它解决同类的新问题。

这个就好比学生大学毕业，离开学校、书本、老师，采用所学的知识独立处理新问题，数据吞吐量相对较小，但需要随叫随到，又快又好地给出答案。

我们一般接触到的AI应用，都是服务提供商训练好的APP。我们在上面提出各种各样的任务，后台以秒为单位快速响应并给出答案，这些都属于AI推理。

驾驭好AI，就能让我们在工作中游刃有余，事半功倍。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

留下你的场景和痛点,我们帮你判断从哪一步开始。