Обнаружение человека на Raspberry Pi Pico с помощью ArduCAM и TensorFlow Lite

ArduCAM часто используется в приложениях с камерой с различными платами, от Arduino до Raspberry Pi. Пять лет назад, мы уже видели крошечный модуль, совместимый с Raspberry Pi размером с монету. Теперь он также поддерживает Raspberry Pi Pico для видеоприложений в реальном времени.

Raspberry Pi Pico совместим с камерой ArduCAM Mini 2MP Plus с 2-мегапиксельным CMOS-датчиком изображения OV2640, который поддерживает функции автоматического управления изображением, включая автоматический контроль экспозиции (AEC) и автоматический контроль усиления (AGC). Камера также оснащена встроенным кодировщиком JPEG для сжатия изображений.

Компания предоставила репозиторий Github с двумя демо-приложениями: приложение для потоковой передачи видео и пример для базового обнаружения человека. Существует также возможность напрямую использовать файлы UF2 для прошивки с помощью Raspberry Pi Pico, если вы не хотите самостоятельно собирать демонстрацию из исходного кода.

Приложение работает в среде Windows 10 для демонстрации потокового видео в реальном времени с разрешением 320 x 240. Интерфейс приложения использует последовательный порт USB через адаптер USB-TTL. Демо также поддерживает среды Mac и Linux, включая Raspberry Pi.

Камера Arducam Mini 2MP Plus позволяет использовать приложения машинного зрения с поддержкой фреймворков и библиотек, таких как tinyML, MicroPython и TensorFlow Lite. В демонстрации обнаружения человека используется фреймворк TensorFlow Lite, на котором работают модели машинного обучения, а ArduCAM выполняет большую часть обработки и вычислений, чтобы уменьшить нагрузку на плату Raspberry Pi Pico, но частота кадров все еще очень низкая.

Схема подключения Raspberry Pi Pico с ArduCAM

ArduCAM Mini 2MP Plus подключается к Raspberry Pi Pico с помощью интерфейсов SPI и I2C. В репозитории GitHub есть отдельная папка tflmicro, при компиляции будут созданы дополнительные файлы для реализации приложения. Вы также можете использовать файлы U2F, если хотите пропустить процесс компиляции. Вы можете посмотреть видео, представленное ниже.

На данный момент демонстрации, предоставляемые ArduCAM, разработаны на языке C, но команда также работает над обеспечением поддержки в MicroPython.

Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.

Оригинал статьи вы можете прочитать здесь.

0 0 votes
Article Rating
Подписаться
Уведомление о
guest

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

0 Комментарий
Inline Feedbacks
View all comments