Пару лет назад мы рассмотрели камеру JeVois-A33, предназначенную для приложений компьютерного зрения, работающую на четырехъядерном процессоре Allwinner A33 Cortex-A7 под управлением Linux. В крошечной камере будет реализовано простое в использовании программное обеспечение для машинного зрения с такими функциями, как обнаружение объектов, отслеживание глаз, QR-код и обнаружение маркеров ArUco и так далее.
Камера могла справляться с поставленными задачами, но, поскольку она опиралась чисто на программные средства компьютерного зрения, некоторые демонстрационные приложения имели задержку, в том числе 500 мс для обнаружения одного объекта и до 3 секунд для теста YOLO с несколькими типами объектов с использованием алгоритмов глубинного обучения. Это достаточно медленно для проектов, связанных с робототехникой, а программные решения обычно потребляют больше, чем аппаратные.
С тех пор нам стали встречаться недорогие SoC и аппаратные средства с выделенными аппаратными AI-ускорителями, одним из которых является двухъядерный процессор RISC-V Kendryte K210 со встроенным аппаратным ускорителем KPU Convolutional Neural Network (CNN) и аппаратный ускоритель аудио APU обнаруженный в модуле Sipeed 1, Maixduino SBC и других аппаратных платформах.
Ребята из DFRobot решили использовать процессор Kendryte для разработки простой в использовании AI-камеры со встроенным дисплеем для выполнения задач компьютерного зрения, аналогичных тем, которые стали возможными с камерой Jevois-A33, но при гораздо меньшем энергопотреблении и более быстрой благодаря аппаратному ускорению. Познакомьтесь с Huskylens.
Технические характеристики оборудования HuskyLens:
- SoC – двухъядерный 64-разрядный процессор RISC-V Kendryte K210 с тактовой частотой 400 МГц и AI-ускорителями, встроенная память SRAM 6 МБ для процессора и 2 МБ памяти AI SRAM
- Память – требуется уточнение, но для обновляемой прошивки должна быть флэш-память SPI
- Камера
- Стандартная версия – 2.0МП камера на основе датчика OV2640
- Улучшенная версия – 5.0МП камера на основе датчика OV5640
- Дисплей – 2.0 IPS экран с разрешением 320 × 240
- Хост интерфейс – 4-контактный UART-разъем (от 9 600 до 2 000 000 Мбит/с)
- Питание – от 3,3 до 5,0 В через 4-контактный разъем; 5 В через порт micro USB
- Потребляемая мощность – 220 мА при 3,3 В, 140 мА при 5 В
- Размеры – 52 х 44,5 мм
Плата поддерживает следующие алгоритмы из коробки: отслеживание объектов, распознавание лиц, распознавание объектов, отслеживание линий, распознавание цветов и распознавание тегов.
HuskyLens может изучать новые объекты, лица и цвета с помощью одного нажатия, или долгое нажатие может запустить режим непрерывного обучения, который позволяет изучать объект или лицо с разных углов и диапазонов. Чем больше узнает, тем точнее может быть.
С точки зрения производительности, компания объясняет, что классический алгоритм искусственного интеллекта YOLO работает только на 1–2 кадрах в секунду с STMicro STM32H743, но HuskyLens работает в 30 раз быстрее. Существует не так много деталей о программном обеспечении и прошивке, но должно быть устройство опирается на тот же SDK, что и другие платы Kendryte.
Плата может работать в автономном режиме для образовательных целей, но она также имеет интерфейс UART для подключения к роботам или другим проектам, работающим на платах разработки, таких как Arduino, LattePanda, Raspberry Pi и micro: bit, что разгружает задачи компьютерного зрения. Ниже представлено короткое видео, которое ясно демонстрирует, на что способна платформа, и охватывает различные варианты использования.
Несколько дней назад, DFRobot запустил HuskyLens на Kickstarter с целью сбора 30000 CAD (~ 22 800 долларов США), и устройство уже профинансировано. В дальнейшем будем использовать цены в долларах США. Все награды early bird уже закончились, но вы все еще можете внести залог 29,9 долларов за «стандартную» версию с 2 МП камерой. В то время как 5-мегапиксельная «улучшенная» модель обойдется в 59,9 долларов. Если вам нужно больше, чем просто эксперименты с платформой, комплект робота-танка, показанный в видео, также предлагается за 169 долларов. Доставка добавит от 5,3 до 19 долларов в зависимости от вознаграждения, и спонсоры могут ожидать, что устройства будут отправлены примерно в ноябре или декабре 2019 года. Помните, что это краудфандинговая кампания, и часто случаются задержки, поэтому не думайте, что вы обязательно получите устройство до Рождества.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.