ESP32-S3 – это первый беспроводной процессор Espressif с AI-инструкциями, а библиотека ESP-DL для ESP-IDF позволяет легко использовать эти AI-инструкции с помощью таких плат, как ESP32-S3-DevKitC-1.
Библиотека ESP-DL предоставляет API-интерфейсы для нейронных сетей (NN), обработки изображений, математических операций и моделей глубокого обучения, которые в полной мере используют AI-инструкции ESP32-S3 с 16-битной моделью распознавания лиц, работающей на 6,25 быстрее, в то время как 8 -битная модель в 2,5 раза быстрее, чем без разгона.
Библиотеку ESP-DL можно использовать как компонент проекта. Например, его можно использовать как подмодуль структуры компьютерного зрения ESP-ВОЗ, просто скопировав его в каталог esp-who/components/.
Подборка моделей содержит несколько предварительно обученных моделей для обнаружения и распознавания (человеческих) лиц и распознавания кошачьих морд, а также разрабатываются другие модели, включая определение цвета и определение позы рук.
Espressif Systems также предоставляет инструменты для использования ваших собственных моделей и инструмент соглашений, позволяющий использовать модели, разработанные для TensorFlow, PyTorch, MXNetm и других.
В будущем производительность может быть еще выше, поскольку помимо ускорения с помощью инструкций SIMD, ESP-DL будет дополнительно развиваться с автозагрузкой/предварительной загрузкой, а также с поддержкой механизма DMA для более быстрой обработки данных.
Вы найдете код, образцы и документацию на Github. Сложнее всего будет получить ESP32-S3, так как вам нужно будет запросить образец непосредственно у Espressif Systems. Модули ESP32-S3 и платы для разработки должны появиться в продаже до конца года.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.