OpenMV выпустила две новые платы камер с искусственным интеллектом, программируемые с помощью MicroPython: OpenMV AE3 на базе Alif Ensemble E3 dual Cortex-M55, dual Ethos-U55 micro NPU SoC и более крупную плату OpenMV N6 на базе микроконтроллера STMicro STM32N6 Cortex-M55 с ускорителем Neural-ART AI/ML 1 ГГц. Обе платы могут выполнять рабочие нагрузки машинного зрения в течение нескольких лет на одном заряде батареи.
OpenMV AE3 с корпусом (слева) OpenMV N6 (справа)
Команда OpenMV создала несколько плат камер на базе MCU и соответствующую прошивку OpenMV для компьютерного зрения, и мы впервые заметили эту компанию, когда они выпустили OpenMV Cam на базе STM32F427 еще в 2015 году. За эти годы был достигнут большой прогресс в плане оборудования, прошивки и программного обеспечения, но включение ускорителей искусственного интеллекта в микроконтроллеры обеспечивает скачок производительности, и новые OpenMV N6 и AE3 более чем в 100 раз быстрее предыдущих камер OpenMV для рабочих нагрузок искусственного интеллекта. Например, теперь пользователи могут запускать модели обнаружения объектов, отслеживать позу человеческого тела, видеть ориентиры лица и многое другое со скоростью 30 кадров в секунду с помощью оборудования класса микроконтроллера.
OpenMV AE3
Технические характеристики:
- MCU – Alif Ensemble E3
- Двухъядерный процессор
- Ядро Arm Cortex-M55 @ 400 МГц
- Ядро Arm Cortex-M55 @ 160 МГц
- Двойной ускоритель искусственного интеллекта
- Arm Ethos-U55 microNPU @ 400 МГц с 256 MAC/c (204 GOP)
- Arm Ethos-U55 microNPU @ 160 МГц с 128MAC/c (46 GOP)
- Оба NPU могут использоваться одновременно
- 2D GPU для масштабирования изображений
- Память – 13,5 МБ SRAM
- Двухъядерный процессор
- Хранилище – 32 МБ флэш-памяти (200 МБ/с)
- Камера – 1-мегапиксельная цветная камера с глобальным затвором ; 120 кадров в секунду при разрешении VGA
- Аудио – Встроенный микрофон
- Беспроводная связь – 2,4 ГГц WiFi 4 и Bluetooth LE 5.1
- USB – 1х порт USB-C (480 Мбит/с)
- Датчики
- Датчик ToF 8×8 с дальностью действия 4 метра
- 6-осевой датчик IMU (акселератор и гироскоп)
- Расширение
- Qwiic-разъем
- 7х сквозных отверстий с GPIO, 3,3 В, GND
- 10-контактный разъем GPIO B2B на задней стороне платы
- Отладка – SWD через Edge Connector
- Разное
- Кнопка пользователя
- Пользовательский RGB-светодиод
- Питание – 5 В через USB-C
- Потребляемая мощность (5 В)
- 60 мА (0,25 Вт) при работе YOLO со скоростью 30 кадров в секунду
- Около 30 мА (0,12 Вт ) в режиме ожидания
- Менее 500 мкА (2,5 мВт) в режиме глубокого сна для многих лет работы от батареи с пробуждением от звука, движения и даты/времени.
- Размеры – 2,54 x 2,54 см (только доска)
OpenMV AE3 может запускать модели обнаружения объектов, такие как YOLO, со скоростью ~30 FPS, потребляя всего 0,25 Вт. Компания также заявляет, что плата простаивает при 0,12 Вт и потребляет всего 2,5 мВт в глубоком сне, что на практике означает, что три батарейки AA могут питать плату более суток на полной мощности, почти три дня в режиме простоя и более четырех месяцев в глубоком сне. Они ожидают дальнейшего снижения энергопотребления с помощью оптимизации с целью достижения потребления <0,25 мВт в глубоком сне.
OpenMV N6
Технические характеристики:
- Микроконтроллер – STMicro STM32N6
- Ядро микроконтроллера – процессор Arm 32-бит Cortex-M55 с тактовой частотой до 800 МГц с Arm Helium и Arm MVE
- Графический процессор – графический процессор Neo-Chrom 2.5D, ускоритель Chrom-ART (DMA2D)
- NPU – ускоритель ST Neural-ART @ 1 ГГц, 600 GOPS
- BPU – аппаратно-ускоренные кодировщики H.264 и JPEG
- Память – 4,2 МБ SRAM
- Память – 64 МБ PSRAM (800 МБ/с)
- Хранилище
- 32 МБ флэш-памяти (200 МБ/с)
- Слот для карты MicroSD на нижней стороне платы
- Камера
- Сменная цветная камера с глобальным затвором 1 Мп; 120 кадров в секунду при разрешении VGA
- Поддержка датчиков камеры до 5 МП,
- Аудио – Встроенный микрофон
- Подключение к сети
- Gigabit Ethernet PHY (но на плате нет разъема RJ45, необходима плата расширения)
- 2,4 ГГц WiFi 4 и Bluetooth LE 5.1
- USB – 1х порт USB-C (480 Мбит/с)
- Датчик – 6-осевой датчик IMU (акселератор и гироскоп)
- Расширение – 2x 16-контактных разъема с 18x GPIO
- Отладка – 10-контактный разъем JTAG и SWD
- Разное
- Кнопка пользователя
- Пользовательский RGB-светодиод
- Источник питания
- 5 В через USB-C
- 2-контактный разъем для 3,7 В LiPo аккумулятора; схема зарядки
- Потребляемая мощность – менее 0,75 Вт
- Размеры — все еще небольшие, но значительно больше, чем OpenMV AE3…
OpenMV N6 мощнее, чем меньший OpenMV AE3, но потребляет больше энергии под нагрузкой. Плата STM32N6 поддерживает камеры до 5 МП, а встроенный аппаратный кодер H.264 позволяет записывать видео MP4 на слот для карт microSD или транслировать их через WiFi или Gigabit Ethernet.
Программное обеспечение и приложения
Платы камер OpenMV N6 и AE3 AI поставляются с предустановленной прошивкой MicroPython для обработки сообщений MQTT или API и управляются с помощью скриптов Python 3 с хост-устройства. Самый простой способ программировать и управлять камерами — через OpenMV IDE, доступную для Windows, Mac, Linux и даже платформ на базе Arm, таких как Raspberry Pi.
Пользователи могут легко загружать модели искусственный интеллект, запускать скрипты, проверять вывод с платы OpenMV N6/AE3 и т. д. OpenMV IDE имеет полный сервер языка Python и интеграцию GitHub CoPilot, чтобы помочь пользователям писать код. Прошивка и протокол отладки имеют открытый исходный код, и вы найдете исходный код на GitHub .
OpenMV-IDE-среда разработки
Камеры OpenMV можно интегрировать в роботов, например, для отслеживания мяча на соревнованиях, в качестве работающей от батареи камеры для наблюдения за дикой природой, которая делает снимок только при обнаружении животных (и только животных), для удаленного считывания показаний датчиков и счетчиков на фабрике, для автоматизации посадки дронов на цель, для отслеживания вылупления цыплят с помощью тепловизионного зрения (OpenMV N6 также может использовать тепловизионные камеры) и т. д.
Камеры OpenMV N6 и AE3 с низким энергопотреблением и искусственным интеллектом на днях были запущены на Kickstarter с целевым финансированием в размере 50 000 долларов США. Вознаграждения начинаются с 50 долларов США за AE3 с корпусом и 3-месячным базовым тарифным планом Roboflow Basic, в то время как плата N6 стоит 100 долларов США с тем же планом. Это стоимость при раннем заказе на первые 50 единиц, а «обычные» цены составляют, соответственно, 80 и 120 долларов США. Доставка добавляет 20 долларов США за доставку по всему миру. Поставки запланированы на декабрь 2025 года, поэтому вам придется набраться терпения.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь