Несколько месяцев назад компания ArduCAM продемонстрировала как работает обнаружение человека на Raspberry Pi Pico с помощью камеры Arducam с использованиемTensorFlow Lite, а позже стало известно, что в настоящее время ведется большая работа по внедрению машинного обучения в платформы RP2040, в частности, в плату для разработки Arducam Pico4ML со встроенной камерой и дисплеем.
На тот момент было доступно очень мало информации, но теперь плата для разработки Arducam Pico4ML стала доступна для предварительного заказа за $49.99 на UCTRONICS и Tindie. Доставку планируют начать в конце месяца этого года, так что давайте рассмотрим ее поближе.
Технические характеристики комплекта для разработки Arducam Pico4ML TinyML:
-
- MCU – микроконтроллер Raspberry Pi RP2040 с двумя ядрами Cortex-M0+ и 264 Кб встроенной SRAM
- Хранилище – 2 Мб SPI флэш-памяти
- Дисплей – 0.96-дюймовый ЖК-дисплей SPI (ST7735) с разрешением 160 x 80
- Камера – QVGA камера HiMax HM01B0 (320×240 @ 60fps)
- Аудио – встроенный микрофон
- Датчики – 9-осевой IMU IDK ICM-20948 (гироскоп, акселерометр, компас)
- Расширение – 2x 20-контактных разъема, которые соответствуют распиновке Raspberry Pi Pico с 26x GPIO, 3x 12-битный АЦП, 2x UART, 2x I2C, 2x SPI, 16x PWM, 2x программируемых высокоскоростных контакта ввода / вывода
- Разное – кнопки сброса и загрузки
- Питание – 5 В через микро USB порт
- Разное – 51 x 21 мм
Итак, плата в основном представляет собой Raspberry Pi Pico с дисплеем, камерой, датчиком движения, микрофоном и кнопкой сброса. Компания Arducam предоставляет предварительно обученные модели TinyML с использованием Tensorflow Lite, включая обнаружение человека, Magic Wand, обнаружение Wake-Word и так далее… Вы найдете все это и связанную с этим документацию на Github и Hackaday.io.
Обратите внимание, что для обнаружения человека требуется около 860 мс (то есть чуть более 1 fps), поэтому нельзя назвать эту платформу идеальной для этой конкретной рабочей нагрузки, поскольку, например, комплект Maixduino (стоимостью ~$25) на базе процессора Kendryte K210 RISC-V AI может обнаруживать лица со скоростью от 15 до 18 fps. Но обнаружение движения и звука может выполняться на плате с разумной скоростью.
Есть также довольно красивый корпус в стиле Raspberry Pi (красный и белый), но его пока нет в продаже. Тем не менее, STEP-файл был выпущен, поэтому корпус можно будет распечатать на 3D принтере.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.