В ноябре прошлого года был анонсирован запуск микроконтроллера NuMicro M55M1 от Nuvoton , который объединяет ядро Arm Cortex-M55 с микроНПУ Ethos-U55 для ИИ на устройстве и управления жестами. Теперь был выпущен модуль для разработки NuMaker-GestureAI-M55M1 на базе этого МК для приложений, связанных с ИИ-зрением.
Новая плата объединяет МК M55M1 с CMOS-сенсором изображения GC0308, цифровым микрофоном и слотом для microSD-карты для хранения моделей ИИ. Она предназначена для таких приложений, как управление жестами, базовые системы машинного зрения и бесконтактные интерфейсы.
Технические характеристики NuMaker-GestureAI-M55M1:
- МК — Nuvoton NuMicro M55M1R2LJAE
- ЦП — Cortex-M55 MCU @ 220 МГц
- Память — 1,5 МБ SRAM
- Хранилище — 2 МБ Flash
- Ускоритель ИИ — Arm Ethos-U55 micro-NPU @ 220 МГц
- Хранилище – слот для карт MicroSD (расположен на задней стороне) для хранения файлов моделей ИИ
- Камера – встроенный CMOS-сенсор изображения VGA GC0308
- Аудио – встроенный цифровой микрофон (DMIC)
- USB – порт High-Speed USB (HSUSB) Type-C
- Расширение и отладка
- Разъем интерфейса ICE для отладки
- Разъем UART5 (используется для вывода данных жестов/обнаружения)
- Разъем I2C1
- Разное – кнопка сброса, пользовательская кнопка, пользовательский светодиод
- Питание – 5 В через порт USB-C
- Температура – от -40°C до +105°C (промышленный диапазон)
Согласно странице продуктов NuVoton, плата NuMaker-GestureAI-M55M1 поставляется с прошивкой для распознавания жестов и людей «из коробки». Предустановленная прошивка может отслеживать присутствие человека и распознавать более 10 конкретных жестов рук, включая: «Позови», «Первый», «Нравится», «Без звука», «ОК», «Один», «Ладонь», «Мир», «Стоп» и «Три».
Плата выводит эти данные вывода через интерфейс UART5, используя простую шестнадцатерично-десятичную структуру пакета. Полезная нагрузка включает стартовый маркер, идентификатор отслеживаемого объекта/жеста, координаты ограничивающей рамки и конечный маркер.
Пример формата вывода UART: [AA][ID][x y w h][55][CC]
- [AA]: Стартовый маркер (0xAA)
- [ID]: Шестнадцатеричный идентификатор отслеживания. Идентификаторы людей находятся в диапазоне от 0x00 до 0x7F, а идентификаторы жестов отображаются от 0x80 до 0x8A.
- [x y w h]: Координаты ограничивающей рамки (4 десятичных значения от 0 до 9999).
- [55]: Промежуточный маркер (0x55)
- [CC]: Конечный маркер (0xCC)
Плата управления жестами с ИИ NuMicro M55M1 также поддерживает инструментарий ИИ Nuvoton, позволяя разработчикам запускать пользовательские модели машинного обучения с использованием таких фреймворков, как TensorFlow Lite for Microcontrollers. Инструкции по началу работы можно найти на страница продукта , а прошивку и исходный код можно найти на GitHub .
Встроенные классификации жестов: call, three, fist, like, mute, ok, one, palm и stop.Плата NuMaker-GestureAI-M55M1 доступна в магазине Nuvoton Direct Store по цене $30.00 , но на момент написания она отсутствует на складе. Дополнительную информацию можно найти в пресс-релизе .
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.