AI 硬件

树莓派新品 Raspberry Pi AI Camera 现已上市，可直接购买！

2024 年 10 月 11 日

人们几乎从我们开始制造Raspberry Pi产品以来，就一直在用它们构建人工智能项目。随着我们发布越来越强大的设备，我们能够原生支持的应用范围也在增加；但在任何一代产品中，总会有一些工作负载需要外部加速器，比如我们在六月份推出的Raspberry Pi AI套件。

AI套件是一个非常强大的硬件，每秒能够执行十三万亿次操作。但它只与Raspberry Pi 5兼容，并且需要一个单独的摄像头模块来捕获视觉数据。因此，我们非常激动地宣布我们的摄像头产品线新增了一个成员：Raspberry Pi AI摄像头。

AI摄像头围绕索尼IMX500图像传感器构建，集成了AI加速器。它能够以低功耗和低延迟运行各种流行的神经网络模型，让你的Raspberry Pi处理器可以自由地执行其他任务。

Raspberry Pi AI摄像头的关键特性包括：

- 1200万像素索尼IMX500智能视觉传感器

- 传感器模式：4056×3040分辨率，每秒10帧；2028×1520分辨率，每秒30帧

- 1.55微米×1.55微米单元大小

- 78度视场角，可手动调整焦距

- 集成RP2040用于神经网络和固件管理

AI摄像头可以连接到所有Raspberry Pi型号，包括Raspberry Pi Zero，使用我们的常规摄像头带状电缆。

使用索尼的一系列AI工具，现有的使用TensorFlow或PyTorch等框架的神经网络模型可以转换为在AI摄像头上高效运行。或者，可以设计新模型以利用AI加速器的特定能力。

内部构造

要利用集成的AI加速器，我们首先必须上传一个模型。在旧的Raspberry Pi设备上，这个过程使用I2C协议，而在Raspberry Pi 5上，我们可以使用更快的定制双线协议。链路的摄像头端由板载RP2040微控制器管理；附加的16MB闪存设备缓存最近使用的模型，允许我们在许多情况下跳过上传步骤。

一旦传感器开始流式传输，IMX500就像Raspberry Pi Camera Module 3上的传感器一样，作为一个标准的Bayer图像传感器运行。集成的图像信号处理器（ISP）在传感器帧上执行基本的图像处理步骤（主要是Bayer到RGB的转换和裁剪/缩放），并将处理后的帧直接输入到AI加速器。一旦神经网络模型处理完帧，其输出会与Bayer帧一起通过CSI-2摄像头总线传输到主机Raspberry Pi。

与Raspberry Pi libcamera集成

AI摄像头的一个关键优势是它与我们的Raspberry Pi相机软件堆栈无缝集成。在内部，libcamera使用我们自己的ISP处理Bayer帧，就像它对任何传感器一样。

我们还解析神经网络结果以生成_输出张量_，并将其与处理过的Bayer帧同步。这两个都会在libcamera的请求完成步骤中返回给应用程序。

Raspberry Pi相机框架——Picamera2和rpicam-apps，以及任何基于libcamera的应用程序——都可以检索输出张量，与传感器帧正确同步。这里有一个在rpicam-apps下运行的对象检测神经网络模型（MobileNet SSD）的示例，它在1080p视频上以30fps的速度进行推理。

这个演示使用了rpicam-apps中的后处理框架，从输出张量生成对象边界框并在图像上绘制它们。这个阶段的实现不超过300行代码。使用Python和Picamera2构建的等效应用程序需要更少的代码行数。

下面另一个示例显示了一个姿态估计神经网络模型（PoseNet）在1080p视频上以30fps的速度进行推理。

尽管这些示例是使用Raspberry Pi 4录制的，但它们在Raspberry Pi Zero上也具有相同的推理性能！

与索尼一起，我们在模型库中发布了一些为AI摄像头优化的流行视觉神经网络模型，以及使用Picamera2的视觉示例脚本。

我应该购买哪个产品？

你应该购买Raspberry Pi AI套件还是Raspberry Pi AI摄像头？AI套件的理论性能高于AI摄像头，并且可以支持更广泛的模型，但只与Raspberry Pi 5兼容。AI摄像头更紧凑，总成本更低，并且与所有型号的Raspberry Pi兼容。

最终，这两种产品都为常见模型提供了出色的加速性能，并且都已优化，可以与我们的相机软件堆栈无缝协作。

开始使用和进一步探索

查看我们的入门指南。在那里，你将找到安装AI摄像头硬件、设置软件环境以及运行我们模型库中的示例和神经网络的说明。

入门指南：

https://www.raspberrypi.com/documentation/accessories/ai-camera.html

模型库：

https://github.com/raspberrypi/imx500-models

索尼的AITRIOS开发者网站有更多的关于IMX500传感器的技术资源，特别是IMX500转换器和IMX500封装文档，这对于想要在AI摄像头上运行自定义训练网络的用户非常有用。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

树莓派新品 Raspberry Pi AI Camera 现已上市，可直接购买！

立即咨询 JOTO

想把这些做法用到你的业务里?

开启企业级 AI 落地

填写需求单