微信公众号：AI工程师笔记
关注可了解更多的大模型相关内容。问题或建议，请公众号留言;
如果你觉得对你有帮助，欢迎赞赏
OpenChat简介
OpenChat是一种旨在利用混合质量数据改进开源语言模型。当前开源大型语言模型如LLaMA已经出现，研究者们正通过监督微调（SFT）和基于强化学习的微调（RLFT）方法使其与人类目标对齐。然而，SFT方法将所有质量参差不齐的数据等同对待，而RLFT方法则需要高质量的成对或基于排序的偏好数据，这在实际操作中成本高昂且复杂。
OpenChat框架提出了一种新颖的方法——条件化RLFT（C-RLFT），它将不同的数据源视为粗粒度奖励标签，并学习一个类条件策略以利用互补的数据质量信息。值得注意的是，C-RLFT中的最优策略可以通过单阶段、无需强化学习的监督学习轻易解决，这种方法既轻量级又避免了高昂的人类偏好标注成本。
此前的实验结果显示，使用C-RLFT微调的模型openchat-13b在三个标准基准测试上达到了所有13b开源语言模型中的最高平均性能。此外，通过AGIEval评估验证了模型的泛化能力，仅openchat-13b超越了基础模型。研究还进行了一系列分析，揭示了OpenChat的有效性和鲁棒性。
研究强调，尽管成果令人鼓舞，但仍存在一些潜在的研究改进方向，比如更精细地调整数据源的奖励标签以反映每个数据点的实际质量，以及探索如何利用OpenChat提升语言模型的推理能力。此外，该研究的伦理声明指出，开源语言模型的普及促进了AI领域的民主化，增强了透明度，促进了公平性，同时使用的数据集来自公开共享，减少了数据泄露和隐私担忧。为了增强可复现性，研究提供了基础模型、训练超参数的细节，以及在GitHub和Hugging Face上的代码、数据和模型权重。
近日开源了最新的OpenChat-3.6版本，号称是整体表现最佳的开源8B模型，优于Llama3-8B-Instruct及其微调模型。
基准测试
下载地址
https://huggingface.co/openchat/openchat-3.6-8b-20240522
在线体验
https://openchat.team/zh
GGUF模型
同时，有其他大神开源了OpenChat-3.6的GGUF模型，因此我们可以轻松的使用Ollama框架进行部署。
https://huggingface.co/bartowski/openchat-3.6-8b-20240522-GGUF
https://huggingface.co/crusoeai/openchat-3.6-8b-20240522-GGUF
ollama部署GGUF模型请参考：
