Раньше FOMO расшифровывалось как «Fear Of Missing Out», но FOMO Edge Impulse совершенно отличается, так как модель «Faster Object, More Objects» предназначена для уменьшения занимаемой площади и повышения производительности обнаружения объектов на встроенные системы с ограниченными ресурсами.
Компания заявляет, что FOMO в 30 раз быстрее, чем MobileNet SSD, и работает в системах с менее чем 200 КБ доступной оперативной памяти. Edge Impulse объясняет, что модель FOMO обеспечивает вариант между базовой классификацией изображений (например, есть ли на изображении лицо?) и более сложным обнаружением объектов (сколько лиц на изображении, если они есть, и где они и какого размера?). По сути, это упрощенная версия обнаружения объектов, при которой мы будем знать положение объектов на изображении, но не их размеры.
Таким образом, вместо того, чтобы видеть обычную ограничивающую рамку во время работы модели, положение лица будет отображаться в виде маленького круга, называемого «центроид». FOMO работает с изображениями с разрешением 96×96, разделяет изображение на сетку стандартного размера 8×8 пикселей и выполняет классификацию изображений во всех ячейках сетки независимо параллельно. Для изображения 96×96 и сетки 8×8 мы получим разбиение 12×12.
Чем меньше изображение, тем ниже требования, и, например, FOMO с вводом в градациях серого 96 × 96 и MobileNetV2 0,05 альфа может работать со скоростью около 10 кадров в секунду на Cortex-M4F с частотой 80 МГц при использовании менее 100 КБ ОЗУ. Заинтересованные разработчики должны помнить об ограничениях FOMO из-за разделения изображения: он работает лучше, когда все объекты одинакового размера и когда они не слишком близко друг к другу.
На видео ниже показано обнаружение объектов (банки и бутылки) со скоростью 30 кадров в секунду на плате Arduino Nicla Vision, работающей от микроконтроллера STM32H7 Cortex-M7.
FOMO не ограничивается аппаратным обеспечением с микроконтроллерами, и его также можно использовать на оборудовании Linux, где вам может потребоваться дополнительная производительность, и, например, вы можете достичь обнаружения объектов со скоростью 60 кадров в секунду на Raspberry Pi 4 SBC.
FOMO работает только на платах, полностью поддерживаемых Edge Impulse и оснащенных камерой. Подробнее можно узнать в анонсе и документации.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.