OPPO 下一代大数据 AI 一体架构实践

01

1. 云原生计算架构

• 首先，弹性伸缩迟滞。上图中展示了资源的分配效率（不是真正的资源利用率和机器的物理利用率），以及资源弹性趋势图。可以看到，凌晨高峰时资源使用率瞬间变高，回收资源持续了很长时间，效率低，弹性差。
• 另外，编码机器选型固化。云上的机器基本都是 Intel 的 x86 机型，无论是 AWS 还是阿里云提出的 ARM 机型从单价上就便宜 20-30%，但是 EMR 产品不兼容 ARM 机型。
• 最后是调度算法固定。

2. Data&AI 一体化数据湖架构

• 数据秒级入湖，在公司内部替代了部分资源的使用，达到了降本的效果。
• 自动化管理，Iceberg 缺少一层服务层，业务需要自己管理。
• 兼容非结构化数据，我们做了一个 DAA Catalog 来兼容非结构化数据的管理。

应用落地

2. 机器学习训练数据加速

3. 混合云场景应用

展望

分享嘉宾

INTRODUCTION

付庆午

OPPO

大数据架构师

目前在 OPPO 数据架构组负责架构演进研发；Spark 开源 RSS 项目 Shuttle 发起人；曾供职去哪儿网大数据，阿里云 MC 团队。