Умная камера Jevois-A33 – крошечная камера Linux с процессором Allwinner A33, разработанная для приложений компьютерного зрения и анонсированная в 2016 году. У нас была возможность ознакомиться с камерой компьютерного зрения в 2018 году и было забавно использовать ее, чтобы узнать о компьютерном зрении со большим количеством примеров, но, поскольку она зависела от процессора для обработки, она подходила не для всех проектов из-за задержки, например, обнаружение объектов занимало 500 мс, а Yolo V3 – около 3 секунд на вывод.
Но прошло время, и в области компьютерного зрения и искусственного интеллекта был достигнут большой прогресс – эти задачи теперь выполняются встроенным NPU или картой ускорителя AI. Итак, на днях была выпущена камера JeVois Pro с процессором Amlogic A311D с NPU 5 TOPS и поддержкой до 13 TOPS с помощью карты Myriad X или Google Edge TPU M.2.
Технические характеристики JeVois Pro:
- SoC – шестиядерный процессор Amlogic A311D с 4 ядрами Cortex-A73 с частотой 2,2 ГГц, 2 ядрами Cortex-A53 с частотой 1,8 ГГц, четырехъядерным графическим процессором Mali G52 MP4 с частотой 800 МГц и блоком нейронной обработки (NPU) 5 TOPS .
- Системная память – 4 ГБ LPDDR4-3200
- Хранилище – слот для карт MicroSD для операционной системы, программного обеспечения и данных.
- Камера
- Встроенный 2-мегапиксельный датчик Starvis Sony IMX290 с задней подсветкой, 1/ 2,8-дюймовый, 12-миллиметровый объектив, 1920 × 1080, скорость до 120 кадров в секунду, скользящий затвор, поддержка широкого динамического диапазона.
- Пользовательский разъем датчика камеры, поддерживает 1 или 2 датчика, 4x MIPI-CSI + IMU.
- Видео и аудиовыход – HDMI 2.1 до 4k @ 60 Гц.
- USB – 2х порта USB 2.0, 1х порт mini USB OTG
- Датчик – TDK InvenSense ICM-20948 с 3-осевым акселерометром, 3-осевым гироскопом, 3-осевым компасом, подключенный по шине SPI с частотой 7 МГц, может быть синхронизирован с датчиком камеры.
- Расширение
- Слот M.2 E-Key для дополнительных карт 2230 PCIe x1 / USB / SDIO / PCM / UART (Coral TPU, WiFi и т. д.), поддерживает настраиваемое расширение JeVois для флэш-памяти eMMC. (Примечание: PCIe x2 не поддерживается).
- 8-контактный порт GPIO (выбор напряжения I2C + SPI или 6x GPIO + GND + I / O).
- Отладка – 4-контактный порт UART (последовательная консоль).
- Источник питания
- Вход – один вход 6-24 В постоянного тока через разъем постоянного тока до 30 Вт
- 6-контактный выход вспомогательного питания для периферийных устройств 5 В, 3,3 В и 1,8 В.
- Потребляемая мощность
- В режиме ожидания: 3 Вт
- YOLOv2 на NPU: 5,3 Вт
- Запуск демонстрации CPU + NPU + TPU + VPU quad YOLO / SSD, как показано на видео ниже: 12 Вт.
- Размеры – 50 х 50 х 45 мм без объектива
- Вес – 80 грамм с корпусом, вентилятором и радиаторами. Только электроника: 40 грамм
AI-камера работает под управлением Ubuntu 20.04 LTS aarch64 со следующими пакетами программного обеспечения:
- OpenCV (последняя версия) + OpenVino + все вклады и привязки Python предустановлены.
- Библиотека JeVois Core с 30+ включенными предустановленными модулями машинного зрения (демонстрации OpenCV, распознавание QR-кода, обнаружение объектов, обнаружение человека/лица, отслеживание объектов, подсчет игральных костей и т. д.)
- Библиотеки OpenGL ES 3.2, Vulkan 1.0, OpenCL 2.0, Coral Edge-TPU.
- Python 3.8 + numpy + scipy предустановлен.
- Предварительно установлены Boost, Eigen, ImGui, glm и многие другие библиотеки C ++.
Камера Amlogic A311D совместима с фреймворками глубокого обучения TensorFlow-Lite 2.5, Caffe, ONNX, MxNet и Darknet. Помимо предустановленных модулей машинного зрения, также можно импортировать/разрабатывать свои собственные модели глубокого обучения для работы внутри JeVois-Pro с использованием конвейеров машинного зрения на C ++ или Python. Перед кросс-компиляцией программы для камеры JeVois Pro сначала можно выполнить разработку и тестирование программного обеспечения на компьютере с ОС Linux.
Код был оптимизирован для производительности DMABUF для нулевого копирования изображений и OpenGL для рисования наложений и графического интерфейса. Лучший способ понять, на что способна камера, – это посмотреть видео ниже. Обратите внимание, что все отображается на камере, даже в демонстрации с четырехугольным обзором. Встроенный NPU 5 TOPS работает довольно хорошо и может обеспечить более чем в 30 раз большую производительность, чем использование процессора только в некоторых демонстрациях.
JeVois Pro – это проект с открытым исходным кодом, и все ресурсы, включая схемы программного обеспечения и оборудования, будут выпущены после завершения краудфандинговой кампании. За ходом разработки можно следить на веб-сайте документации JeVois, где вы также можете получить доступ к документации более ранней камеры JeVois-A33.
JeVois запустил новую камеру Pro на Kickstarter с целью сбора финансирования в размере 60 000 долларов. Стоимость начинаются с 379 долларов за стартовый комплект с камерой, картой MicroSD на 64 ГБ, адаптером micro HDMI-HDMI, кабелем GPIO и картой Coral Edge TPU, обеспечивающей до 9 TOPS объединенной вычислительной мощности AI. За набор из трех стартовых наборов JeVois Pro вам придется заплатить 999 долларов. Доставка в США бесплатна, но для остального мира добавляется 39 долларов. Сторонники должны ожидать, что их бонусы будут отправлены в сентябре 2021 года, без каких-либо задержек. Обратите внимание, что 13 TOPS достижимы только с двойным модулем Google Edge TPU M.2, который не предлагается в кампании Kickstarter.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.