如何快速的开发一款AI应用？
大模型时代，是否有一个平台或组织，可以同时融合AI模型、工具与应用，为技术创新提供关键保障，解决上述问题呢？魔乐社区就是这样的一个平台！
近期，DataFun联合魔乐社区，组织了『魔乐社区：AI模型、工具与应用的融合之道』研讨会，邀请来自中国电信、华为、百川智能、智谱AI的专家，为社区的小伙伴，分享了人工智能领域的最新进展，及AI模型、工具和应用的融合实践。
与魔乐社区一起，繁荣国产AI生态
魔乐社区于2024年8月31日在天翼云中国行贵阳站正式发布。自发布以来，魔乐社区受到了社会的广泛关注。魔乐社区的模型数量从最初的几百个增长到目前的5702个，体验空间也达到了145个，用户量从最初的几十到几百，现已突破万人大关，增长迅速。
魔乐社区主要聚焦于四个方向：
在工具层面，魔乐社区打造了底层的硬件屏蔽工具和中层的管理及使用工具；
在数据层面，魔乐社区聚合了优质的中文数据集，形成了强大的数据聚集力；
在模型层面，魔乐社区聚焦了国内外顶尖的模型，包括智谱AI、百川智能等模型，许多优秀的中文模型也首次在魔乐社区的平台上发布；
在应用层面，魔乐社区已经发布了145个创新应用。
魔乐社区秉持两个原则：
· 保持中立，作为开发者的聚集地，魔乐社区致力于团结整个产业链，共同建设和运营；
· 保持公益，促进组织、开发者和爱好者在魔乐社区落地和变现。
魔乐社区的愿景是引领AI生态发展，让AI触手可及。魔乐社区的文化是践行开源精神，公平公正。
1. TDMA托管及展示服务
魔乐社区的主要功能是TDMA托管及展示，其中T代表工具（Tools），D代表Datasets，M代表模型（Models）和A 代表应用（Applications）。
2. Models能力：丰富易用的模型
3. Applications能力：免费/长期支持应用创新
右边展示了当前平台支持的几大应用场景，在ChatBot方面，有baichuan2对话和TeleChat对话等；在文生图方面，魔乐社区有SD3、SDXL等昇腾加速文生图生成应用，在文生视频方面，有Open Sora等；在文生音频方面，如AI作曲大师等，可以通过语音自动生成作曲；在个性化应用方面，有一键生成高清证件照等，上线后迅速获得了大量下载和使用量。未来，魔乐社区还将上线智能体应用平台，支持SD WebUI等功能的应用场景。
魔乐社区-体验空间推荐
很多人一直使用英伟达的算力构建能力或开发自己的应用，而在国产化上，很多人还是不太了解。中国电信天翼云公司通过一年的准备，将国产化从刚开始的不可用变为现在的可用。希望通过魔乐社区构建更多的大模型应用和生态，在国产化构建完成后，能够使用这些能力。
4. 魔乐社区-用户成长激励计划
魔乐社区的成长计划将从两个方面进行提升：
首先，在纵深方面，魔乐社区将不断提升课程质量，优化课程制作流程，并加快课程发布节奏。同时，在实践方面，我们提供环境和资源指南，并计划引入更多指导专家和业内知名开源人才。在竞赛方面，我们提供舞台，让开发者通过比赛提升能力，从初学者成长为高级开发者。
在视野和广度方面，魔乐社区始终保持前沿学习，并不断超越自我。及时洞察行业前沿成果，并积极参与行业活动。魔乐社区与高校和合作厂商合作，推动大模型与应用的一体化，并引入魔乐社区的优秀模型和应用，结合行业认知，共同贡献应用。
魔乐社区-中国高校人工智能大赛
中国电信和华为最近组织了一次大型比赛，由天翼云承办，协办单位包括中国自动化学会、中国通信学会等。截至目前，已有3000个来自中国顶尖高校的团队报名参赛。大赛于24年10月正式启动，第一轮区域赛将持续一个半月，之后进入全国总决赛。魔乐社区联手天翼云提供了300台高性能的AI服务器，参赛者可免费使用这些算力资源。
与许多高校比赛不同，本次比赛不仅提供奖金，还免费提供算力支持，因此吸引了大量参赛者的积极参与。魔乐社区的运作方式也为此提供了有力保障。
5. 魔乐社区运作方式
魔乐社区计划成立理事会。通过理事会的方式运作以保证社区的中立和公益，包括社区的建设、社区的运营、社区的治理等各个层面，欢迎组织和个人参与到理事会的工作中。
总的来说，魔乐社区以开放的心态共建，欢迎更多的个人开发者加入。
Mind应用使能套件，加速昇腾AI生态汇聚
自2018年10月华为推出全栈全场景的AI解决方案以来，经过多年的发展，华为的自研昇腾AI训练集群和MindSpore框架逐步实现软硬件的统一发布和整合。到2023年，华为从Ascend C编程语言开始，从驱动层面进行了全链路的国产化自研，并联合国内26家领军企业进行AI大模型的联合创新。目前，整个昇腾系统已支持超万亿参数的大模型集群。
Mind应用使能套件是昇腾面向生态的一些列套件工具，可以帮助生态用户更好地、更快地体验NPU上的各种模型能力。其核心架构包括：主流三方库适配、训推工具链、生态运营等。通过Mind应用使能套件，希望可以使能社区，聚合资源，多维度协同，构筑原生生态，并使能开发者，全流程易用。携手全产业链力量，共建昇腾AI生态，加速大模型应用创新，助力伙伴商业持续闭环。
1. 主流三方库适配
适配如Transformers、OpenCV等主流三方库，确保开发者在使用国产芯片时，原有程序能够顺利运行。目前已支持20+核心库，5行代码即可完成LLaMa-Factory适配NPU，具体内容可参考魔乐社区上的最佳实践文章，类似的文章还有GLM4 PyTorch模型微调最佳实践，欢迎大家访问学习。
2. 训推工具链
推出原生NPU的训推工具链，帮助用户一键完成训练和推理，降低开发难度。可以为不同类型用户提供差异化开发工具，整个工具链如图黑框所示。其特性如下：
① 双框架支持：
原生全栈AI框架 MindSpore，高性能
开源主流AI框架 Pytorch，生态丰富
② 全流程集成：
一站式完成推理、训练、评测流程切换
覆盖LLM、多模态、传统模型等多任务
③ 快速响应：
接轨开源生态，迅速接入新模型、新算法
提供CLI和SDK双接口，配置化启动
三个具体的案例：
① 全流程极致易用，大模型开箱即用
② 支持NPU融合算子，提升主流模型10%+性能
③ CLI命令模型管理/训推，Top模型容器化下载部署
Mind应用使能套件推出了模型的CI服务，开发者通过文档建议的模型上传格式，编写简单的脚本，即可通过CI能力，对模型是否可用、精度是否达到预期目标进行判断。
魔乐社区作为昇腾最重要的合作伙伴，社区已经全面托管并支持Mind应用使能套件。 用户可以通过魔乐社区的体验空间和国产化算力，对模型进行深入的使用和Demo体验，如对话、文生图、文生视频等，可以显著降低用户前期使用模型的调研成本。
3. 生态运营
昇腾面向高校和企业开发者提供一系列活动，帮助提升开发经验和实力。计划通过开发者大会、Meetup、Hackathon、认证等活动，提升企业开发者的整体开发能力。对于高校，将围绕校园行、社团活动、竞赛、科研实习等内容，帮助学生逐步具备专业的开发经验。
目前，华为和中国电信正在共建高校AI大赛，进一步推动AI技术的发展，欢迎有兴趣的同学积极参与。
Mind应用使能套件通过适配三方库、推出训推工具链、建设基础设施以及推动生态运营等多方面的努力，致力于加速AI生态的汇聚，帮助开发者和企业更好地利用NPU资源，推动AI技术的广泛应用与发展。
具身世界模型构建初探
随着人工智能技术的飞速发展，具身智能作为其中的一个重要分支，正逐渐受到广泛关注。具身智能强调智能体与其所处环境的紧密交互，而具身世界模型则是实现这一目标的关键技术之一。
强化学习作为机器学习的一个重要领域，其核心思想是通过智能体与环境的交互来学习最优策略。在强化学习中，World Model的概念被广泛应用，尤其是在基于模型的强化学习方法中。这类方法通过构建一个能够模拟环境变化的模型，使智能体能够在模型内部进行推理和规划，从而预见未来一段时间内的行为。
然而，在许多实际环境中，如机器手在转魔方，模型的转移具有很大的不确定性。这时，传统的基于模型的方法可能无法满足需求，需要采用更高级的世界模型构建方法。近年来，随着大模型的兴起，基于大模型的post training方法也被广泛应用于强化学习中，通过设计或训练奖励函数，提升大模型的能力。
1. 无模型强化学习
在实际应用中，无模型强化学习（model-free RL）方法有时可能不奏效或代价较高。因此，研究者们开始探索基于模型的方法来构建视觉模型并进行推理。例如，在四足机器人的控制中，面对强外力干扰或随机外力干扰，如何保持机器人的鲁棒性成为一个重要问题。通过无模型的风险敏感强化学习架构，定义智能体的奖励和惩罚机制，使机器人能够在仿真环境中与外界进行大量交互，学习一个值函数，从而得到一个比较鲁棒的策略。
2. 模型驱动的强化学习
随着研究的深入，模型驱动的方法逐渐得到应用。自2020年起，Dreamer和TD-MPC等代表性方法通过在隐空间内构建世界模型，大大降低了世界模型推理的成本。这些方法不仅在多个基准测试中取得了优异的表现，还为后续的多任务强化学习提供了新的思路。
多任务强化学习是具身世界模型构建的一个重要方向。传统的世界模型往往专注于单一任务，而多任务方法能够同时处理多个任务，提高模型的泛化能力。通过结合扩散模型和GPT的网络结构，研究者们成功地实现了对多任务的联合分布建模，并在50个基准测试中表现出色。
3. 四足机器人世界模型（世界模型和偏好对齐）
构建具备通用性和高鲁棒性的四足机器人运动控制策略是机器人学中的一个长期挑战。四足机器人在不同地形运动的动作方式和行为轨迹呈现出高度的复杂性，同时会受到动态环境的干扰。扩散模型在表现出强大的生成和建模能力，能否在有限的四足机器人数据集中学习高效的多地形运动策略？特别的，在数据集状态覆盖不足的情况下，模型对样本外状态(Out-of-Distribution Samples)往往表现出较强的敏感性，难以在真实环境中有效应对多样的动态变化。
这里提出了两阶段四足机器人扩散策略训练方法：Offline+Online Preference Learning
第一阶段：离线学习，Diffusion Planner 从其他专家策略收集的离线数据中学习状态-动作序列的联合分布
第二阶段：偏好对齐，通过弱偏好标签对离线策略进行微调，在不降低整体离线策略表现的情况下，使得较优轨迹的生成概率增加，以提高模型的稳定性和对分布外样本状态的适应性
使用 KD 树结构构建从离线数据到在线交互数据的度量标准，构造”弱标签”偏好数据
使用在线偏好对齐的 DPO 算法进行扩散模型微调
最终效果：多种步态和速度条件下展现出优异的稳定性和速度跟踪能力，相比现有基线离线强化学习方法具有显著优势。即便在数据集规模较小时，弱偏好标签的性能也接近于强偏好标签，这验证了弱偏好标注方法的有效性。在真实机器人 Unitree GO1 上进行部署，进一步验证了该方法在四足机器人运动控制中的潜力。
4. 少样本视频预测世界模型（视频预测世界模型VPDD）
与视觉和自然语言处理不同，高质量的具身数据获取是非常困难的，且不同机器人的数据难以通用。现有研究主要通过借助基础模型作为基础具身策略，但由于机器人和其他领域数据存在较大差异，基础策略往往在具身场景中存在适应性和泛化难题。然而，存在许多人类世界的交互数据集，这些数据和机器人交互数据具有很强的相似性。考虑训练人类交互视频预测的世界模型，从而捕捉机器人与世界交互过程的规律。
具体方法：通过从大规模人类操作数据 Ego4d 学习统一的视频表征，使用大量无动作视频构建自监督视频预测扩散模型预训练任务，在少量有动作标记的具身数据上进行高效策略微调，使通用人类操作视频中编码的物理世界先验知识适应于具身任务，仅利用少量机器人轨迹在 RLBench 等 3D 通用机械臂操作任务集合中获得了优异的性能。
具体的方法如上：首先，我们建立了 Video Tokenizing 方法，将 Human Videos 与 Robot Videos 在隐空间进行统一视频编码。然后，在这个空间内，使用 Perceiver IO 为 backbone 和扩散模型进行学习。最后，通过带少量 Action 的 Robot Data，进行 Fine-Tuning，来预测机器人未来的行为。
最终效果：预测比较准确的未来运动轨迹，无论是单视角还是多视角，这些都通过一个离散扩散模型生成；方法仅需要少量的数据集就可以在各种机械臂抓取任务上达到比较高的成功率，在 Meta-World 和 RLBench 获得了良好的效果。
VPDD模型目前已经在魔乐社区开源：
https://modelers.cn/models/Haoran_He/VPDD-Pretrain
5. 多智能体合作世界模型
多智能体环境建模中面临诸多问题：
高动态性：每个智能体的环境转移受到其他智能体的影响。
可扩展性：当智能体数量增多时，世界模型需要接受智能体联合的高维输入，学习多智能体的联合策略。
全局-局部信息：在单智能体环境模型的构建中，同时需要考虑多智能体全局信息的影响。
解法探索：基于Transformer的多智能体世界模型：
状态的联合编码：获得跨智能体共享的特征
建模单智能体局部的环境状态转移
获得跨智能体的联合特征：Perceiver Transformer
通过以上方式，我们可以在世界模型中进行多步推理，选出当前最好的行为，当执行当前最好的行为后，同样的对未来的推理，做planing，得到比较好的下一步的行为。
实验效果：我们在星际争霸环境中进行了测试，是一个典型的多智能体的环境。世界模型的引入提升了样本效率，分布式的世界模型提升了计算高效性，中心式的信息抽取提升了全局意识。通过这种去中心化的模型架构，实现了局部与全局信息的融合与推理，可以有效应对这些挑战。
总之，具身世界模型的构建是一个充满挑战与机遇的研究领域。从强化学习的基本概念出发，通过不断探索和创新，研究者们已经取得了许多重要的成果。未来，随着技术的不断进步和应用场景的拓展，具身世界模型将在更多领域发挥重要作用。
Agent 开源社区前沿进展
基于大语言模型（LLM）的Agent是一种可以处理复杂任务、与人类交互并具备推理能力的人工智能系统。随着LLM的发展，Agent从传统逻辑驱动模式，逐步演化为基于自然语言理解和生成的高级形式。
1. Agent的核心开源工具和平台
① Agent的关键特性，构建Agent需要考虑什么？
模块化设计：增强灵活性和可扩展性
工具整合：支持无缝调用外部工具和API
记忆管理：实现上下文跟踪和长程记忆
多代理协作：支持多个代理协作完成负责任务
扩展推理能力：通过多步推理（如Chain of Thought 和Tree of Thought）提升任务表现
以上，构成了Agent常见的多种组件。
② 代表性开源框架，推动Agent发展的关键工具
目前，比较常见的Agent开发工具有：
LangChain：构建基于LLM的应用程序，强调模块化与组合性
AutoGen：提供构建事件驱动、多代理协作系统的工具
LlamaIndex：提供一个中心接口，将LLM与外部数据连接，支持多种数据源
Semantic Kernel：微软推出的类 LangChain的框架
Dify：快速搭建Agent产品原型的开源平台
③ 开源语言模型的支持，高质量的开源LLM是Agent发展的基石
常见的开源模型有：Baichuan2系列、Qwen2.5系列、Llama3系列。开源LLM的价值在于提供高性能基础模型，通过开放许可支持定制化开发，来降低实验和实现成本。
④ 实践案例，从理论到实践的开源应用
AutoGPT：自动化任务执行代理
BabyAGI：基于AI的任务管理系统
Sibyl：通用助手型Agent
⑤ 挑战与未来趋势，智能代理的瓶颈与突破方向
Agent当前面临的挑战：
伦理问题：如何保证系统的公平性与透明性
安全性：防止模型滥用与攻击
可扩展性：如何在大规模部署中保持性能
Agent未来的趋势：
增强多代理系统协作能力
深化心理学和认知科学的引入
社区驱动的开源发展将继续推动创新
2. 百川的Agent研究进展
在Agent的前沿研究中，一个重要的例子是从字母矩阵中抽取出合法的英文句子。人类可以轻松完成这一任务，但对于AI来说却极具挑战性。百川的研究系统能够逐步进行问题拆解，展示了AI在复杂任务处理中的强大能力。
① 构建新的Agent系统的动机
构建新的Agent系统有两个主要目标：
探索AI能力的上限：通过去掉现有产品的限制，了解系统在无约束条件下的表现，发现各种问题。
获得更好的日常工具：现有的商用产品如ChatGPT和Perplexity在处理复杂问题时仍存在不足，新的Agent系统旨在提供更高效的解决方案。
② 面临的挑战与解决方案
在构建新的Agent系统过程中，面临的主要挑战包括：
缺乏理论指导：特别是在架构搜索时，需要一个理论指导或启发函数来指引方向。
缺乏深入思考能力：现有系统在处理复杂问题时表现不佳，需要进行改进。
Multi-agent系统的有效性：架构设计复杂，工程管理难度大。
为应对这些挑战，百川提出了两个主要思路：
人类中心主义的评估方法：关注人类做得好与不好的指标，差距越大越是我们关心的。
引入认知理论：主要引入了2个认知理论，双过程理论和全局工作空间理论，启发架构设计方向。
③ 系统设计与实现
百川的Agent系统设计包括以下几个关键点：
最大化使用token：通过将难度分散到更多的token上，确保模型能够可靠地解决每个token的问题。
有效管理token：通过压缩机制控制上下文大小，生成步骤笔记，结构化提取、解释和规划下一步。
④ 评估与结果
百川的Agent系统在GPT-4o上进行评测，虽然在Validation上的得分并不高，但在处理复杂任务上的鲁棒性优于其他系统，显示出其在架构设计上的优势。
百川在Agent领域的研究展示了其在核心开源工具和平台、前沿研究进展以及系统设计与实现方面的贡献。未来，百川将继续探索更高效的解决方案，引入更多高阶推理技巧和多模态支持，进一步对齐人类的核心知识，推动AI Agent技术的发展。
智谱AI开源模型
1. 智谱开源模型
智谱的开源之旅始于对高质量模型和广泛适用性的追求。截至目前，智谱已成功开源超过20个模型，涵盖了语言生成、代码生成、图像生成和理解等多个领域。其中，GLM系列模型因其出色的性能和广泛的社区应用而备受瞩目。
智谱的产品线全面对标国际的一流水平，在语言模型、视频、多模态理解、代码补全、代码填充、代码生成、文生图、文生视频等领域都全面对标了OpenAI相关的产品线，以及最新的关于端侧模型方面的探索。
目前，智谱开源的模型，累计获得超过170K star。其中，ChatGLM-6B全球累计下载量超过1700万次，连续12天全球下载第一名，是国内唯一入选「全球点赞数最高的 15 大 AI 机构」，并排名 Top 5。
① 开源模型：GLM系列
目前GLM系列最新一代的通用模型包括：
GLM-4-9B：基座模型，不具备对话能力，支持8K上下文。
GLM-4-9B-Chat：对话模型，具备工具调用能力，支持长度128K。
GLM-4-9B-Chat-1M：对话模型，长文本模型，支持1M上下文，具备工具调用能力。
GLM-4V-9B：VQA视觉模型，支持8K上下文。
这些模型在发布时，都处于比较领先的状态。同时，智谱一直在进行后续的研究，如关于长文本的输出、长文本引用、以及相关的奖励模型都在不断的探索。
最后，智谱还开源了对应的数据集。
② 开源模型：CodeGeeX系列
基于GLM-4底座模型训练的代码模型，更多的以产品的形式出现，以生成的代码种类多样、速读快、质量高而闻名。
③ 多模态理解模型：CogVLM系列
多模态的理解包括：图片理解、视频理解、视频标注模型。
④ 视频生成模型：CogVideo系列
CogVideo是目前比较火的模型，从8月到现在一直处于高频维护的状态，多次上榜HuggingFace Trending，在前三名持续超过一周时间。
2. Mind应用使能套件生态建设
智谱不仅在模型开发上取得了显著进展，还在设备兼容性方面做出了巨大努力。早期，智谱主要关注NVIDIA设备，但随着市场变化和技术进步，智谱开始积极适配国内NPU和GPU厂商的技术框架。在这一过程中，智谱与Mind应用使能套件生态建设展开了深入合作，共同推动模型在国内硬件上的适配和优化。通过这一合作，智谱成功将多款模型适配到Mind应用使能套件上，显著提升了在国内NPU上的推理性能。
3. 开源流程与社区贡献
智谱的开源流程始于模型训练，随后进行权重转换和适配支持，最终在Hugging Face和魔乐社区等平台发布。这一流程确保了模型的广泛适用性和高效性能。
在模型开源后，智谱持续关注社区的反馈和需求，快速响应Issue和PR，不断优化模型性能。这种与社区紧密互动的做法，不仅提升了模型的质量和影响力，也促进了开源生态的建设和发展。
未来，智谱将继续在视频生成和图像生成等领域开展研究，推动更多创新成果的涌现。同时，智谱计划进一步提升模型的性能和兼容性，确保在不同硬件设备上都能实现高效运行。此外，智谱还将加强开源模型的讲解和技术布道工作，通过直播、文章等形式普及相关知识，促进开源社区的繁荣和发展。
