Ранее мы отмечали, что Raspberry Pi представила Raspberry Pi Zero 2W с камерой Raspberry Pi AI на базе интеллектуального датчика зрения Sony IMX500 на Embedded World 2024, но в то время она была недоступна. Хорошей новостью является то, что камера Raspberry Pi AI теперь доступна за 70 долларов у вашего любимого дистрибьютора.
Устройство следует за запуском более мощного комплекта Raspberry Pi AI Kit, разработанного для Raspberry Pi 5 с 13 TOPS Hailo-8L NPU, подключенного через PCIe. Камера AI на основе датчика камеры Sony IMX500 AI с поддержкой Raspberry Pi RP2040 для обработки нейронной сети и управления прошивкой менее мощна, но все еще может выполнять многие из тех же задач, включая обнаружение объектов и сегментацию тела, и работает на любой плате Raspberry Pi с разъемом MIPI CSI, в то время как комплект AI работает только на последней плате Pi 5.
Технические характеристики камеры Raspberry Pi AI:
- 12-мегапиксельный смарт-датчик изображения Sony IMX500
- Режимы сенсора: 4056×3040 при 10 кадрах в секунду, 2028×1520 при 30 кадрах в секунду
- Размер ячейки 1,55 мкм × 1,55 мкм
- Поле зрения 78 градусов с ручной регулировкой фокуса
- Интегрированный Raspberry Pi RP2040 для управления нейронной сетью и прошивкой
- Флэш-устройство емкостью 16 МБ для кэширования последних моделей
- Плоский кабель 20 см
Raspberry Pi RP2040 используется только для передачи прошивки и нейронных моделей на датчик Sony, который выполняет тяжелую работу с датчиком изображения Bayer, похожим на тот, который используется в модуле камеры Raspberry Pi 3 , который передает изображение на интегрированный процессор обработки сигналов изображения (ISP) для основных этапов обработки, прежде чем оно будет отправлено на ускоритель ИИ на камере. Затем вывод передается на Raspberry Pi вместе с данными изображения по шине камеры CSI-2.
С точки зрения программного обеспечения камера совместима с официальными фреймворками камер Raspberry Pi, а именно Picamera2 и rpicam-apps. Видео, прикрепленное ниже, показывает модель нейронной сети обнаружения объектов MobileNet SSD, работающую под управлением rpicam-apps со скоростью около 30 кадров в секунду при разрешении 1920×1080. Демонстрация была сделана на Raspberry Pi 4, но нам сказали, что производительность вывода будет такой же на бюджетном Raspberry Pi Zero.
Ознакомьтесь с документацией, чтобы воспроизвести демонстрацию самостоятельно. Продвинутым пользователям может быть интересно ознакомиться с сайтом Sony AITRIOS Developer, где вы найдете больше технических подробностей о датчике IMX500 и таких инструментах, как IMX500 Converter и IMX500 Package, которые будут полезны для запуска специально обученных сетей на AI Camera с использованием таких фреймворков, как TensorFlow или PyTorch.
Если у вас есть Raspberry Pi 5, вам придется решить, использовать ли AI Kit или AI camera, оба продаются по 70$. Комплект более мощный, но если у вас еще нет камеры Raspberry Pi, камера будет дешевле. Камера также может быть полезна, если вы используете интерфейс PCIe для NVMe SSD или другого устройства PCIe и не хотите добавлять еще один HAT с коммутатором PCIe, например, HatBRICK! Commander. Для всех других моделей Raspberry Pi AI camera — это то, что вам нужно.
Мы должны получить образец камеры Raspberry Pi AI в ближайшее время. Более подробную информацию можно найти в объявлении и на странице продукта.
Выражаем свою благодарность источнику с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.