Vision FPGA SoM от tinyVision.ai – это крошечный модуль с питанием от Lattice iCE40 FPGA со встроенными функциями компьютерного зрения, обнаружения звука и движения с датчиком изображения CMOS, микрофоном I2S MEMS и 6-осевым акселерометром и гироскопом.
Модуль обеспечивает компьютерное зрение с низким энергопотреблением (10-20 мВт) для приложений с батарейным питанием, может взаимодействовать через SPI с хост-процессором в качестве запоминающего устройства, поставляется с набором инструментов с открытым исходным кодом и образцом кода и оптимизирован для массового производства.
Спецификации Vision FPGA SoM:
- FPGA – Lattice iCE40UP5k FPGA с 5K LUT’s, 1 Мб RAM, 8 блоков MAC
- Память – 64 Мбит QSPI SRAM для временных данных
- Хранилище – 4 Мбит QSPI Flash для хранения битового потока FPGA/кода
- Датчики
- Датчик изображения Himax HM01B0 CMOS
- Микрофон Knowles MEMS I2S с возможностью расширения до стереофонической конфигурации с помощью внешнего микрофона I2S
- InvenSense IMU 60289 6-осевой гироскоп/акселерометр
- Вводы/выводы
- 4x GPIO с программируемым напряжением ввода-вывода
- Хост-интерфейс SPI с программируемым напряжением ввода-вывода
- Разное – трехцветный светодиод, ИК-светодиод для слабого освещения
- Источник питания
- Единая операция 3,3 В, которая может подавать 1,8 В и 1,2 В при 100 мА (максимум) на внешние устройства с помощью встроенных LDO
- Внешний 3,3 В, 1,8 В, 1,2 В для работы с низким энергопотреблением
- Размеры – 3x 2 см
Модуль поддерживает нейронные сети благодаря Lattice SensAI toolchain, использующей Tensorflow, Caffe или Keras для разработки моделей, квантования и сопоставления с механизмами нейронной сети SensAI. Vision FPGA SOM может обрабатывать логический вывод со скоростью более 30 кадров в секунду при средней мощности около 25 мВт. Образец кода FPGA для обнаружения людей на основе компьютерного зрения и обнаружения ключевых слов в аудио будет предоставлен вместе с документами и схемами в репозитории проекта на Github.
Компания также предоставляет две несущие платы, первая из которых названа «SOM Developer board», дающая доступ ко всем вводам-выводам для разъемов, питанию micro USB и программированию FPGA, стандартным разъемам Pmod и Qwiic для расширения, а также меньшего размера. «SoM Breakout Board» с некоторыми модулями ввода-вывода, доступными через сквозные отверстия с шагом 2,54 мм по бокам. Обратите внимание, что для последнего требуется внешний программатор флэш-памяти SPI для программирования потока битов на FPGA.
Vision FPGA SOM и комплекты разработки были запущены на Crowd Supply с целью сбора финансированием в размере 8000 долларов. За залог в 70 долларов вы получите сам модуль, но большинство спонсоров, скорее всего, предпочтут за 80 долларов получить с SoM и переходной платой или за 120 долларов с модулем и платой разработчика. Доставка в США бесплатна, но для остального мира добавляется от 5 до 30 долларов в зависимости от выбранного бонуса. Если все пойдет по плану, спонсорам следует ожидать, что их награды будут отправлены в декабре 2020 года.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.