Али Хассан Шах внедрил модель глубокого обучения для распознавания жестов рук на плате ESP32-S3-EYE с использованием библиотеки ESP-DL и добился распознавания рук на базе искусственного интеллекта с задержкой 0,7 секунды на плате камеры ESP32-S3.
В прошлом году Espressif выпустила библиотеку ESP-DL для микроконтроллера ESP32-S3 с векторными расширениями AI, а также ESP32 и ESP32-S2 вместе с демонстрацией распознавания лиц, которая работала намного быстрее на ESP32-S3. Али представил собственное решение для распознавания жестов ИИ и предоставил пошаговое руководство.
Основные шаги по развертыванию пользовательской модели с библиотекой ESP-DL включают:
- Разработка модели, которая включает
- Получение или создание наборов данных. В этом случае скачивается из Kaggle с 6 жестами, а именно ладонью, большим пальцем, указательным, I, Ok и C.
- Тестирование, обучение и калибровка наборов данных
- Построение модели (CNN)
- Обучение модели
- Сохранение модели в формате иерархических данных (.h5)
- Преобразование модели H.5 в формат ONNX для совместимости с библиотекой ESP-DL
- Формат ESP-DL — еще одно преобразование из формата ONNX в формат ESP-DL с использованием PyCharm IDE для запуска оптимизатора Python, предоставляемого библиотекой ESP-DL.
- Этапы развертывания модели
- Создайте новый проект в VS-Code на основе фреймворка ESP-IDF.
- Определение модели — импорт библиотек из модели, объявление, инициализация, построение и вызов слоев.
- Шаги запуска модели
- Импортируйте необходимые библиотеки
- Объявите входные данные
- Установите форму ввода
- Установите форму ввода
- Входной сигнал монитора
Хотя здорово иметь возможность запускать рабочие нагрузки ИИ на относительно недорогом оборудовании, таком как микроконтроллер ESP32-S3, это не совсем просто и требует некоторой работы. Мы полагаем, именно поэтому были созданы такие решения, как Edge Impulse, не самое простое, что можно понять из обзора платой Xiao BLE Sense. Но, оглядываясь назад, это выглядит намного проще, чем развертывание пользовательской модели с библиотекой ESP-DL. Если вы просто хотите попробовать демо-версию Ali по распознаванию жестов на плате ESP32-S3-EYE, ресурсы и инструкции можно найти на GitHub.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.