AI时代飞速发展，大模型和AI的应用创新不断涌现，面对百花齐放的AI模型，阿里云计算平台大数据AI解决方案总监魏博文分享如何通过阿里云提供的大数据AI一体化平台，解决企业开发难、部署繁、成本高等一系列问题，让中小企业快速搭建AI应用。
首先第一个挑战，搭建AI应用，并不是简单地部署一个大模型，如今部署一个大模型也不再是一个困难的事情。通过通义大模型系列的不断更新，我们可以看到模型能力越来越强，但是如何应对后训练包括推理部署，对于中小企业来说，还是需要投入很多的，如何把模型更高效地部署，更高效地做微调，其实是非常大的挑战。
第二个就是在模型微调上，需要很多对应的数据，例如通义的Omni模型，就需要多模态数据，不像传统大语言模型通过纯文本就可以完成，包括深度思考模型，需要对多轮对话的长思维链进行标注生成数据，如何对数据做预处理和过滤分析呢？这些都是我们在AI应用开发中需要面对的问题。
最后就是有了这些能力以后，企业原本的大数据架构就在面临不断地升级迭代，同时引入AI技术之后， 架构更加复杂，如何利用云的技术领先性将大数据与AI结合，更好实现AI应用，对于中小企业来说也是不小的挑战。
现在有了慢思考的模型以后，大家对模型的效果达到了一定可控性，企业首先把模型作为业务场景模型，例如部署一个大模型，随之上线一个AI应用。但是随着AI应用搭建后，线上数据会形成回流，之后我们就会发现我们不能覆盖所有的全场景，需要做微调，让大模型满足生产的要求，紧着着就产生了我们之前提到的那些挑战，企业希望后续模型的上线是高效的、低成本的，例如可以进行量化压缩，模型加速。
这里面整个工程化的链路对focus在AI Native应用搭建的企业来说，需要大量的人力成本，阿里云背后的一套链路的工程团队几乎达到了几百人，对于我们来说是非常巨大的人力成本。我们也将这套工程化的产品化后，在阿里云上为企业提供开箱即用的AI工程化平台服务。我们在阿里云上提供了一套低代码、全链路的平台工具PAI ModelGallery，可以一键进行训练、部署、评测。PAI ModelGallery集成了LLM、AIGC、CV、NLP等领域丰富的大模型，例如通义大模型，我们提供全尺寸的通义千问QwQ 、Qwen 2.5系列-0.5B/1.5B/3B/7B/14B/32B/72B，以及满血版的DeepSeek ：R1-671B、V3-671B，同时针对各类蒸馏模型，我们也提供了DeepSeek-R1-Distill-Qwen-1.5B/7B/14B/32B/72B，以及各类的其他开源模型和多模态模型。
PAI ModelGallery提供了一整套全链路AI模型白盒化开发流程，包含模型测评、部署、通过收集反馈再进行模型训练、重新部署，达成数据+模型双轮驱动AI Native应用发展。用户只需要上传数据，调试模型的参数，就可以快速搭建服务，调试模型调用。模型训练部分，用户可以选取自己的数据集，上传以后快速地做模型的微调，不光是SFT，今年更多的慢思考模型用到很多强化学习的微调，让模型达到更好的COT效果。评测部分，我们可以去测评微调后的模型是否能达到精度上的要求。
有了模型的迭代，后面我们就可以做AI应用的结合。阿里云人工智能平台PAI提供了一键部署可调试的RAG 对话系统，模型侧，我们提供了刚才提到的Qwen 、DeepSeek-R1等大模型镜像，向量引擎部分，与Elasticsearch、Milvus、OpenSearch、Hologres等向量引擎无缝链接，多种开放的技术选型帮助企业零代码构建完整的RAG方案。同时，针对RAG场景，提供全链路可观测、可调试，通过界面化工具即可调整问答策略、知识库引用标注、图片展示方式、向量检索相关参数、是否联网搜索等具体配置。由于AI应用是直接部署线上服务的，资源层面我们为了避免短时间大量请求涌入导致响应超时，针对高峰流量提供定时扩缩容、弹性扩缩容等资源管控能力，在节省成本避免资源浪费的同时，稳定保障线上业务。
在一些细分场景，例如AIGC。人工智能平台PAI同时提供了一站式AIGC设计平台 PAI-ArtLab，在一些设计场景，为中小企业提供AIGC场景下从数据集管理、数据打标、模型管理、模型训练、AI绘图的的全链路平台。PAI-ArtLab 内置200+个不同设计风格的Stable Diffusion/通义万相微调模型与开箱即用的WebUI，例如文生图（动漫、油画等多种风格），企业无需编程和AI技术知识，全程界面化零代码即可完成风格化的AI设计工作。PAI-ArtLab还链接了众多设计师，提供海量的常用工作流，例如：电商模特换装、产品宣传图生成、海报生成、AI 写真、室内装修设计、营销海报等，进一步降低AI的使用和学习门槛。
以上是一些AI应用部分，之前我们还提到AI应用上线后，我们一定会收到很多数据的反馈，这些数据最终怎么灌输到模型里面，企业还应该有一套完备的数据预处理的过程。这一套数据预处理的过程，也是通用模型训练的最佳实践。这些数据可以是视频的数据，文本的数据，不同的链路，回到存储里面。需要通过大数据处理引擎做对应的数据处理，例如MaxCompute Maxframe，基于云原生的分布式 Python 计算服务，支持 Python 编程接口，兼容 Pandas等数据处理及 ML 算子接口且自动实现分布式处理，同时提供AI Function 调用能力，实时调用大模型，进行多模态数据预处理。
通过这些数据预处理，我们可以把数据处理的标签和向量，写入检索引擎，模型训练过程中，后训练过程中，并不需要计算引擎，因为后训练过程中是高质量的数据，我们检索出来，再去做微调，通过多模态的检索方案，生成模型开发工程师的模型训练设计，形成了完全闭环，这样从数据预处理到模型迭代、模型训练有了端到端的流程。
之前提到了多模态的数据预处理，再着重展开下整体架构，在算子层面的框架，阿里云完全开源到了社区叫做Data-juicer，用户可以基于开源社区的能力，基于算子构建自己的数据处理的组件，我们提供了算子在框架下做算子串联融合的能力，可以让用户快速清晰的开发自己的算子，可以参考图片上通过Data-juicer做数据预处理的教程。
同时阿里云在产品上提供了更高阶段的封装，包括对数据的脱敏、过滤、去重，用户可以通过阿里云的产品使用处理的过程。算子在底层提供了两种计算引擎，还有一种是AI平台上的计算引擎，都可以调用GPU、CPU，高效的执行预处理的过程。
数据预处理还有检索部分，阿里云提供了多种AI搜索产品，包含自研的智能开放搜索 OpenSearch，100%兼容开源的检索分析 Elasticsearch版、向量检索服务 Milvus版。这些产品全部都是Serverless化的，在阿里云上可以开箱即用，减少运维成本。其中弹性的能力也可以方便中小企业快速部署测试相关能力，并在之后保持较低的使用成本。
在数据预处理部分，我们已经提到了一些大数据计算引擎，阿里云提供按需计费的Serverless大数据计算平台，例如MaxCompute与E-MapReduce，可以帮助中小企业低成本启动大数据平台建设，从0开始按量付费，按需使用每一次计算资源。基于云上的弹性，企业可以完成从GB到PB级别可线性扩展的大规模计算能力，满足中小企业不断成长的数据需求，同时还可以对比开源保持性能领先性。在开发层面，阿里云还提供了一站式智能大数据开发治理平台DataWorks，可以覆盖从数据集成、开发、运维、治理等整个流程，最新发布的DataWorksCopilot支持多种SQL方言和Python代码生成，可以进行SQL生成/纠错、SQL解释/补全等能力，提升数据开发效率35%。
除了大规模的离线计算，阿里云同时提供了轻量统一实时OLAP分析平台，包含自研的Hologres与100%兼容开源的EMR StarRocks，减轻企业技术架构复杂的负担，一份数据即可完成OLAP查询、即席分析、在线服务、向量计算等多个场景。面向OLAP分析极致的性能场景要求，Hologres打破TPC-H , 30000GB性能测试世界记录，每秒数十万QPS高性能点查。StarRocks性能比传统OLAP引擎提升3-5倍，搭配Serverless能力，实现云上性能与成本的平衡。
阿里云是中国唯一提供AI全栈产品与服务科技企业，从分布全球的基础设施，到大数据AI一体化平台，结合通义大模型的系列能力，大模型即将引发产业AI应用新一轮创新。
