昨天去某AI大会做听众，充点电学习下：）
10-12卡AI一体机
单纯硬件，特别是有些同质化的硬件并不是这类会议的重点。因此传统服务器厂商没怎么来参展，在展台摆出几台AI一体机的好像就这么一家。
这款9U服务器最多能装12块GPU，上图中的4090显卡由于宽度超过标准2-Slot，所以一共是10块。
与大厂那些AI服务器不同的是，这款一体机可能是为了降低成本吧？CPU所在的主板看着缩小了许多。CPU Socket插座我没看错的话，应该是AMD EPYC家族的SP6吧。内存通道6个，单路CPU的PCIe插槽利用率倒是比较高（7个槽中按道理可以支持5个x16）。
做GPU生意：服务成了一个重点
上面这句话，您能听懂多少就算多少，有些不适合放到桌面上说的东西，我也不想写太多。正规渠道货、大家都能做的生意，早就拼成了红海。不过下面这款RTX 4090 48GB既然都印到彩页上了，也就没啥可藏着掖着的。
我记得以往在公众场合，发言人一旦谈到此类“显存扩容”GPU卡时，还会特别提一句“不见得有保障，正规单位谨慎使用”等。但本次会议的专家大佬们，似乎都更加“现实”了，或者说在人们短期的测试中，至少4090 48GB还没出啥大问题吧。
无独有偶，在另一位发言人的ppt讲稿中，直接出现了“2080Ti 22G”，这还是一家挺有名的公司（登台的几乎没有山寨小厂）。可见“魔改”显卡已经不再只是少数人的玩具，而是真的已经部署在了一些项目中。
究其原因，首先性价比自不必说了。2080Ti 22G其实早在DeepSeek V3/R1这一波之前就广为人知；而新一轮DeepSeek对大模型应用平均参数量的提升，则助推了4090 48G 吧？
另一个原因，我想应该与禁令有关。之前在服务器上用A40、L40（48GB）的人不少，工作站上的RTX 6000 Ada如今也一样买不到了。虽然4090 D和RTX 5880算是开个“小口子”，但这也影响了人们对下一代GPU的信心，包括关于5090 D（32GB显存）的小道消息。
扩展阅读：《NVIDIA AI性能计算更正：为什么RTX 4090抢购，而工作站A6000相对乐观？》
而在我看来，5090 D硬件参数本身不是已经合规了吗，哪里超出限制了…
更多大显存GPU展望
像GeForce、Radeon这些消费级显卡，温度和故障率偏高的一个原因是功耗释放相对激进。还有一点，就是“非公版”的大尺寸散热器不利于在服务器中高密度部署——这个对显卡厂商其实并不是技术难题。工作站显卡，咱们先不谈那些图形性能优化啥的，用于AI计算场景，也算是游戏卡与服务器GPU之间折中的一个选择。
NVIDIA最新一代的工作站高端显卡RTX PRO 6000 Blackwell，把显存提高到了96GB。AMD对应的RDNA 4架构新品还没发布，按照常理也应该会提升显存容量吧？
与NV的RTX 4090相对应，AMD有一款24GB显存的Radeon RX 7900 XTX消费级显卡。而在Radeon Pro专业卡产品线中，则有3款48GB的型号，其中W7900包括Dual Slot和3插槽两个版本；W7800除了48GB还有款32GB显存的。
GPU厂商显然愿意卖毛利更高的产品，这样才有钱投入CUDA、ROCm软件生态的研发。所以我们看到，在5090之下，5080显卡仍然是16GB的——打游戏等倒是一般也够用了。
至于AMD方面，最新一代Radeon RX 9070 XT只有16GB，因为它本身对位的是NVIDIA的GeForce 5070系列。于是就有人猜测：AMD RDNA 4消费显卡会不会有一款更高的型号出现，无论是连同提高GPU的规格，还是只把显存增加到32GB。其实人们盼望的还是AI应用的高性价比，当然像常规显卡那样有不缩水的保修服务就更好了。
上图是在ROCm官方社区看到有人发的贴子，完全无责任猜想哈：）
