市面上人工智能的大小模型发展得很快数量也很多了，有点当年百团大战前兆的意思。个人觉得AI模型不论是大模型还是小模型，都应该在特定场景中找到自己的定位并发挥作用。
大型模型的持续演进
大型模型将继续在规模上进行竞赛，融入更多模态的数据，如视频、图像等。这种趋势表明，大型模型的性能和应用范围将进一步扩展，为AI领域带来新的突破。
随着数据量的持续增长，大型模型的训练将更加充分，性能也将得到显著提升。这将推动AI技术在各个领域的应用，如自然语言处理、计算机视觉等。
视频、图像以及跨复杂数字界面的动作轨迹等新的模态将被整合进模型中，带来许多令人印象深刻的结果。这将使AI技术更加贴近实际应用，提升用户体验。
小型模型的兴起与应用
利用大型模型训练小型模型的技术（如蒸馏）正在兴起，高效的小型模型将在特定场景中发挥巨大作用。这种技术使得小型模型能够在保持高性能的同时，降低计算成本和资源消耗。
知识将被浓缩到更小、更便宜的模型中，嵌入各种设备，实现真正的环境感知革命。这将推动物联网、智能家居等领域的快速发展，使设备更加智能化和便捷化。
小型模型蕴藏着巨大机会，创业者可以利用其低成本和高效性，开发针对特定用例的应用。这将促进创新和创业活动，推动AI技术的普及和应用。
提示工程的重要性
通过提供高质量的指令集，创业者可以引导预训练模型。使其符合自身品牌价值观，打造独特产品，这将有助于提升产品的个性化和差异化竞争力。
提示不仅仅是问题，而是指导预训练模型以特定方式行为的高质量指令集，这对于品牌价值的体现至关重要。通过精心设计的提示，企业可以塑造独特的品牌形象和用户体验。
合成数据将成为训练模型的关键，但如何获取、整合这些数据仍需深入探讨。合成数据可以弥补真实数据的不足，提高模型的训练效果和泛化能力。
⋯ ⋯
我认为人们需要更多地思考新数据的来源以及如何整合这些数据，这对于训练出更好的模型至关重要。
以下为访谈原文（部分摘要）：
Q：未来几年，在不断发展的模型 (models) 格局中，有哪些事情值得关注？
A：模型的规模既在变大，也在变小，这种趋势几乎肯定会继续下去。
去年开始流行一种新方法，称为蒸馏。这类方法利用大型、高成本模型来训练小型模型。这种监督效果相当不错，目前已有充分的证据支持这一点。
因此，规模仍然是这场竞争中的关键因素，未来还有很大的发展空间，数据量也将持续增长。
至少在接下来的两三年内，“规模法则”在提供超预期表现方面的进度不会有任何放缓。
Q: 还有哪些新的模式可以加入？
A: 人们也在考虑将视频、图像以及跨复杂数字界面的动作轨迹等新的模态融入模型中。
但我们真正感兴趣的是跨复杂数字界面的动作轨迹，比如从浏览器跳到桌面，再转移到手机，从不同的生态系统中切换，无论是在封闭的花园还是开放的网络中。
我们试图理解这些轨迹，收集大量数据，使用监督学习和微调等方法。我认为这将带来许多令人印象深刻的结果。
Q: 在数据方面，人们在哪些方面思考得不够多？
A: 数据的讨论角度很多，经典的问题是哪些数据可以使用及其质量。我认为网上已经有大量讨论。
但人们没有花足够时间思考新数据的来源，以及如何整合这些数据。
例如，合成数据是一个有趣的领域，如果我们有这样的数据，可以训练出更好的小模型和大模型。如何获取这些数据并确保其整合是一个关键问题。但是如何获取这些数据并确保它们被整合起来，这一点还没有得到足够的讨论。
Q：在处理模型时，提示 (prompt) 和问题 (question) 之间有什么区别？
A：提示不仅仅是你问聊天机器人的问题。当你问聊天机器人一个问题，那是一个问题；当你写一个三页的风格指南并附上模仿的例子，那是一个提示。
提示是你的高质量指令集，指导预训练模型以特定方式行为。令人惊讶的是，模型只需几页指令就能表现得非常不同。
为了让模型表现出细微、精准和符合品牌价值的行为，你需要展示成千上万个良好行为的例子，并将这些例子微调到模型中。这是预训练过程的延续，使用高质量且准确的数据。
好消息是，成千上万个例子对许多细分领域或特定垂直领域来说是非常容易获得的。这是一个优势，初创公司在高质量微调预训练模型方面有很大的空间。
Q：小模型会带来哪些机会？创业者如何利用它们做一些有趣且独特的事情？
A：小模型无疑代表着未来。
大型模型在处理查询时会激活数十亿个不相关的神经表示，尽管它们非常高效地进行搜索和引用数亿个节点，但并不总是必要的。
我们将把知识浓缩到更小、更便宜的模型中，这些模型可以驻留在各种设备上，如耳塞、可穿戴设备、耳环、植物或传感器。
这场环境感知革命长期以来一直被人们所期待，它将带来功能性设备，例如一个冰箱磁铁，冰箱磁铁是我能想到的最小的数字设备。它可以在早上迎接你，告诉你天气情况，告诉你冰箱里可能有什么或没有什么，并提醒你查看日历。
它可以在早上欢迎你，告诉你天气，告诉你冰箱里可能有什么或没有什么，并提醒你查看日历。
这种模型可能只有几千万个参数。虽然目前还没有人真正推动这一点，但任何两人团队都可以探索这一领域。
⋯ ⋯
产品化过程中情感需求是不可缺少的，这个已经在移动互联网时代很好地被验证了。AI具备提供支持的潜力，可以成为真正了解用户的伙伴，提供情感支持。
通过优化AI的情感交互能力，可以提升用户体验和满意度，进一步拓展AI技术的应用场景。
AI技术将为人类创造其他技术无法带来的情感体验，通过模拟人类情感和行为，AI 产品又可以为用户提供更加丰富和真实的交互体验。
⋯ ⋯
真理需要实践来逐一验证，在实际工程化应用过程中很重要。需要AI对话伙伴能够明确地表达边界，能够说出“这是我不准备参与的事情”，这是建立信任体验的基础。
通过明确的对话边界和规则设定，可以避免AI产生不恰当或有害的行为，保障用户权益和安全。
微软AI主管Mustafa Suleyman的观点揭示了人工智能领域的发展趋势和挑战，大小模型的齐头并进、提示工程的重要性、数据整合的挑战与机遇以及信任体验的构建等方面都值得关注。
这些趋势和挑战不仅为AI领域的研究者和从业者提供了宝贵的指导，也为普通用户描绘了一个更加智能、个性化和情感丰富的未来。
