经历了 2023 年拼参数拼上线速度的百模大战之后，2024 年的大模型已经席卷全行业，成为数字经济新质生产力的核心技术之一。现在，各方都在更务实地探索大模型技术如何真正落地，并兼顾性能与性价比，去服务企业场景应用，以期为业务提效与创新。
大模型涉及的技术庞杂，行业落地 AI 应用开发工作的机遇与挑战并存。据最新的《CSDN AI 开发者生态报告》数据显示，大模型技术开发中多个问题并存，并且问题占比平均，如缺乏和难招聘 AI 技术人才、难寻合适业务场景、AI 数据数量质量以及基础设施算力均不足、AI 监管法律风险与合规性问题等等。
企业要面对的更现实和直接因素还有，企业技术团队需要选择让大模型参数规模、准确率和泛化性能精准满足行业特定业务场景的需求，以及大模型能力如何快速集成以提升企业业务与产品的 AI 能力，还有千亿参数大模型私有授权费用高昂，私有化部署服务器等基础设施的费用成本也是百万级别以上等。
虽然问题困难重重，不过大模型行业落地实践与创新应用正在涌现。最近，创新教育平台“混沌学园”就上线了全新的 AI 功能——AI问答助手，在传统教育单向传播知识的基础上，加入千人千面的课程内容AI问答能力。
混沌学园 AI 问答助手采用了猎户星空大模型的技术能力。混沌学园 CTO 曾德龙表示：“从 AI 问答助手的准确率来说，猎户星空大模型 RAG 在处理课程常见问题时能够提供快速且准确的回答，从后台可以看见用户会有二次和多次的不同问题提问，学员反馈 AI 问答助手体验方便、快速、精准。”
“从知识库整理与调整的便捷性来说，猎户星空大模型 RAG 套件后台 UI 简洁便利，在信息检索和内容整理方面效率很高。用云文档的形式整理知识库的方式让我们能够更快地修改与调整知识库的内容。”
“AI 辅导员”上线，
教育企业为何快速获得大模型应用开发能力
在大模型各行业的落地场景中，教育是典型的传递知识并且知识高度密集型场景，用户（学生、学员）产生问题，线上搜索获得的结果通常只是“千人一面”的固定标准化知识，对于学习者，仍存在较高的学习理解成本。混沌学园的大模型 AI 问答功能实现了回复内容更灵活与丰富，结合学员用户画像，提供更加定制化的课程服务。
对于混沌平台的学员与用户来说，课前可以更精准获得定制化课程推荐（学什么），课中使用 AI 问答交互可以更高效获取学习与答疑的内容（学透彻），课后通过 AI 问答提问交互还能促进学习与实践相结合以及快速检索已学知识库（灵活运用+随时查找复习）。
这个新功能听起来，更像是学习者在主动学习与完成作业之外，被贴身安排了一位专属的“AI 学习辅导员”，这种“千人千面”的定制化服务，既提高了混沌用户学习效率，完成教育的初衷，也是 AI 大模型在教育行业的一次创新性应用。
AI 问答已经上线混沌平台的多个知名课程，
实测响应速度及时、生成内容准确
让大模型在行业落地不是一蹴而就，为了确保 AI 问答的准确率与效果，混沌技术团队采用大模型之外，仍有部分人工参与专业课程内容的审核。第一批上线课程选择了内容新鲜度、热度较高的 17 堂课，未来混沌学园将推出的 AI 研习社与其他所有新课，AI 问答都将是标配功能。
除了 AI 问答，对于混沌内部研发团队来说，大模型也促进了其他新应用开发对创新和效率的双重收益。例如刚刚结束的混沌 5000 人规模游轮线下活动，在活动售卖阶段就引入了（基于大模型的）AI 助手，团队将游轮语料库处理后导入平台，为用户提供游轮助手服务。结果是 15% 的学员使用了 AI 助手，每个用户的会话轮次约 3-8 次，既提升了活动的用户体验，也为活动组织节省了大量沟通人力成本。
混沌技术团队介绍，在调研多个大模型后正式启动 AI 问答的研发到上线仅仅用了不到 2 个月的时间，让我们不禁好奇，在大模型开发者面临多重研发挑战的情况下，一家专注教育的企业，如何快速获得了大模型应用开发的能力并快速落地？
猎户星空大模型 RAG 套件+“交钥匙”定制化
加速行业大模型应用落地
据介绍，混沌学园 AI 问答采用的是今年国内热门的猎户星空大模型技术和服务。与行业普通的 RAG 技术服务不同，猎户星空大模型提供了更强、更专业的 RAG 套件，包含知识预处理、语义理解和改写、混合检索引擎、自动化质量评估体系和微调效果校准。
混沌学园使用猎户星空大模型的 RAG 套件能力，涉及到数据预处理、用户问题的识别、用户问题的改写和扩展、向量知识库的检索和 Rank，与大模型的交互和边界控制，以及工程上的 session 管理和用户会话上下文数据管理等等功能。
RAG 是今年大模型热门技术点，混沌学园起初在AI大模型落地探索时，采用业界其他大模型训练推理后课程解析回答正确率只有一半，52.88%，就算通过 RAG 处理后正确率提高到了 80.77%，不过行业模型应用对专业性要求较高，还有 20% 的容错率是不能容忍的。
猎户星空大模型 RAG 套件行业应用和专业知识深度融合，基于混沌学园业务搭建应用并优化效果，得到高质量数据以及微调之后，将课程问答正确率提升到 94.5%，保证了行业模型应用的准确率和专业性。（本次专访之后，混沌学园使用 RAG 套件持续优化数据质量，最新的问答正确率已经提升到 98.7%。）
猎户星空大模型 RAG 套件是其独家推出七大微调套件全家桶中重点打磨的方向之一，除了 RAG，还有对通用对话、插件、长 Token、知识抽取、问答对的生成、日韩文进行微调，基于猎户星空实践摸索，在企业专业场景中私有化部署，真正实现了百亿模型千亿效果。
本次案例中猎户星空大模型 RAG 套件为 AI 问答提供了除数据预处理以外的所有技术处理能力，混沌技术团队则只需要做自身课程数据的预处理和少量 API 对接工作即可。猎户星空大模型 RAG 套件后台 UI 简洁便利，在信息检索和内容整理方面效率很高。用云文档的形式整理知识库的方式也能让混沌技术团队能够更快地修改与调整知识库的内容。这也是一家教育企业快速获得 AI 大模型应用开发能力的高效之路。
数智化的大趋势之下，以混沌学园为代表的企业研发团队需要精进 AI 大模型这类新型技术能力，所以除了 API 对接使用通用服务，猎户星空为混沌学园提供的是从大模型调研评估到最终交付的完整交钥匙服务，贯穿企业从前期评估、LLM 战略，到自身模型选择、方案设计、实施部署和优化，以及交付和维护，完整的贴身技术能力，赋能企业大模型应用开发。
通过交钥匙服务，企业可以获得更加灵活的应用定制化开发，进一步挖掘利用大模型，实现精准高效应用。例如混沌学园未来还将增强 RAG 所有技术的干预能力，如企业设计 Prompt 与相关编排，基于自身业务深刻理解做 Rank 定制化开发等等。
企业模型应用快速落地背后
猎户星空大模型的务实之路
据了解，混沌学园 AI 问答采用的是今年企业应用大模型领域炙手可热的猎户星空大模型，而猎户星空大模型是猎豹移动董事长兼 CEO 傅盛在 2016 年 All in AI 后的最新成果。经过几年的积累，猎户星空已经拥有了自研全链条 AI 技术，如全链条语音技术（猎户星空是小米小爱同学、华为 AI 音箱、喜马拉雅、美的等音箱产品背后的技术提供商）、多传感器融合导航、消费级机械臂以及实体服务机器人产品等。
现在爆火的百模大战之中，猎户星空大模型走了一条与众不同的务实道路。年初发布之时，猎户星空大模型就喊出了“为企业应用而生”，打造最具性价比大模型的口号。与其他大模型大搞芯片军备竞赛、追求千亿级模型效果后再去寻找适用场景不同，猎户星空从场景反推，挖掘企业应用、定义垂直场景，通过（企业私有的）数据和应用的打磨，实践出在应用效果上超越 GPT-4，这绝不是妄想。
聚焦七个应用方向的微调研发工作之后，模型准确率、推理速度表现优秀，模型更小更利于私有部署，实现消费级显卡也能实现千亿参数模型效果，可以说是切实降低企业部署大模型的成本，从而加速大模型行业企业落地。
猎户星空大模型（Orion-14B-Long）支持 320K tokens 超长文本，
在三十万文字中任意位置随机隐藏关键信息，模型提问结果全部正确
猎户星空大模型 Orion-14B-INT4 相比于 Orion-14B，
模型大小降低 70%，推理速度提升 30%
INT4 量化性能损失＜1%
实现大模型基础实力之上，猎户星空为大模型行业落地，打造了从底层云管理、大模型、套件、应用+终端、客户行业的完整能力体系，各层技术能力和架构关联，能力体系被形象地称为“AI 科技树”。
除了混沌学园这样的教育头部客户案例之外，千行百业的企业 IT 研发实力千差万别，猎户星空 AI 科技树可以给教育、制造、零售、金融、医疗的企业用户，提供灵活的大模型落地技术实现方案。例如完全没有研发工程能力的企业和团队，可以直接采用猎户星空应用层端到端的 AI 应用服务，用 SaaS 化去实现 AI 助教、AI 客服等应用。
从案例我们能看到，猎户星空大模型为混沌学园注入新质生产力，也为企业落地大模型提供了重要参考示例与范本。更广阔的 AI 生态方面，傅盛不仅是亲自下场做大模型的从业者，一直以来也是混沌学园的金牌 AI 课程讲师。混沌学园合伙人张雷在采访中向 CSDN 表示，猎户星空与混沌学园也会通过混沌 AI 研习社去构建 AI 产业生态平台，双方共同为更多混沌的企业管理者学员提供 AI 知识、AI 能力，促进大模型落地更多企业用户，激发创新。
有了 AI 的赋能，CSDN 早先提出的“人人都是开发者，家家都是技术公司”趋势正在成为现实，CSDN 将持续挖掘更多创新应用落地案例，以飨开发者群体。
