B 站基于大模型的大数据智能诊断助手实践

01

1. 整体架构和规模

2. 用户的问题

• 系统内核的缺陷。有些时候系统内核升级了，但任务并没有做充分的测试，导致大规模的任务失败。

  
  

• 依赖组件的问题。平台数据量大，资源组件也很多，有很多任务彼此之间存在依赖，依赖的组件升级或者有 bug 就会导致任务的失败。

  
  

• 数据质量问题。本身有些数据有问题，也会造成任务失败。

  
  

• 硬件老化引起。如果计存达到一定规模就会发现这个问题，我们的视频网站，硬盘的数量非常大，数据磁盘是有寿命的，过一段时间读写速度容易变得很慢。

  
  

• 资源调度问题。用户量非常大之后，资源调度压力会非常大的，加上公司的混合部署机制，资源会在不同的部门之间进行调转，在一些潮汐时可能有任务会受到影响。

  
  

• 数据分布问题。数据倾斜或数据本身存在问题也会造成任务变慢。