01
Microsoft 凭借 Phi-3 Mini 加入了轻量级 LLM 竞赛，Phi-3 Mini 是一个专为设备性能而设计的 38 亿参数模型。Phi-3 在精选数据集上进行训练（与 GPT-4 相比，注重质量而非数量），其目标是资源受限的场景和低延迟应用程序。其训练数据集是 Phi-2 的扩展版本，包括经过严格过滤的网络数据和合成数据，确保稳健性、安全性和聊天格式优化。
小语言模型的优势
资源消耗少：小语言模型（SLMs）体积小，对计算资源的需求低，适合在资源受限的环境中使用。
易于部署：SLMs可以轻松地部署在本地设备上，而不需要依赖云服务。
隐私保护：由于数据在设备内部处理，SLMs有助于保护用户隐私。
快速响应：SLMs可以离线工作，减少与云端通信的延迟，提供即时反馈。
02
1. 微软Phi-3模型家族
微软最近宣布了Phi-3家族的开放模型，这是目前最有能力且成本效益最高的小语言模型。Phi-3模型在语言、编码和数学能力的各种基准测试中，超越了同等大小甚至更大一号的模型。
Phi-3-mini：拥有3.8亿参数，性能超过两倍于其大小的模型。
Phi-3-small（7亿参数）和Phi-3-medium（14亿参数）：即将在Azure AI Model Catalog和其他模型库中提供。
2. 训练方法的创新
微软研究人员采用了一种创新的训练方法，通过精心挑选的高质量数据来训练SLMs。他们首先创建了一个包含3000个单词的数据集，然后利用大型语言模型生成数百万个小故事，形成了“TinyStories”数据集。随后，他们使用这个数据集训练了小型语言模型，并取得了惊人的效果。
3. 数据选择的重要性
选择高质量的数据对于训练有效的SLMs至关重要。微软的研究人员通过筛选教育价值高、内容质量好的公开数据，进一步构建了“CodeTextbook”数据集。这种方法不仅提高了模型的性能，还减少了生成不当或不适当响应的风险。
02
SLMs特别适合于执行简单任务、需要快速响应、或者在资源受限的环境中运行的应用程序。例如，它们可以用于智能手机和其他移动设备，提供边缘计算能力，或者在没有网络连接的偏远地区提供AI服务。
微软的这一创新展示了AI领域的一个重要趋势：从单一的大型模型向多样化的模型组合转变，以满足不同用户和应用场景的需求。小语言模型的崛起，预示着AI技术将更加普及，更加贴近人们的日常生活。
