AI-камера и дисплейная плата HuskyLens работают на процессоре Kendryte RISC-V (Crowdfunding)


Пару лет назад мы рассмотрели камеру JeVois-A33, предназначенную для приложений компьютерного зрения, работающую на четырехъядерном процессоре Allwinner A33 Cortex-A7 под управлением Linux. В крошечной камере будет реализовано простое в использовании программное обеспечение для машинного зрения с такими функциями, как обнаружение объектов, отслеживание глаз, QR-код и обнаружение маркеров ArUco и так далее.

Камера могла справляться с поставленными задачами, но, поскольку она опиралась  чисто на программные средства компьютерного зрения, некоторые демонстрационные приложения имели задержку, в том числе 500 мс для обнаружения одного объекта и до 3 секунд для теста YOLO с несколькими типами объектов с использованием алгоритмов глубинного обучения. Это достаточно медленно для проектов, связанных с робототехникой, а программные решения обычно потребляют больше, чем аппаратные.

С тех пор нам стали встречаться недорогие SoC и аппаратные средства с выделенными аппаратными AI-ускорителями, одним из которых является двухъядерный процессор RISC-V Kendryte K210 со встроенным аппаратным ускорителем KPU Convolutional Neural Network (CNN) и аппаратный ускоритель аудио APU обнаруженный в модуле Sipeed 1, Maixduino SBC и других аппаратных платформах.

Ребята из DFRobot решили использовать процессор Kendryte для разработки простой в использовании AI-камеры со встроенным дисплеем для выполнения задач компьютерного зрения, аналогичных тем, которые стали возможными с камерой Jevois-A33, но при гораздо меньшем энергопотреблении и более быстрой благодаря аппаратному ускорению. Познакомьтесь с Huskylens.

Технические характеристики оборудования HuskyLens:

  • SoC — двухъядерный 64-разрядный процессор RISC-V Kendryte K210 с тактовой частотой 400 МГц и AI-ускорителями, встроенная память SRAM 6 МБ для процессора и 2 МБ памяти AI SRAM
  • Память — требуется уточнение, но для обновляемой прошивки должна быть флэш-память SPI
  • Камера
    • Стандартная версия — 2.0МП камера на основе датчика OV2640
    • Улучшенная версия — 5.0МП камера на основе датчика OV5640
  • Дисплей — 2.0 IPS экран с разрешением 320 × 240
  • Хост интерфейс — 4-контактный UART-разъем (от 9 600 до 2 000 000 Мбит/с)
  • Питание — от 3,3 до 5,0 В через 4-контактный разъем; 5 В через порт micro USB
  • Потребляемая мощность — 220 мА при 3,3 В, 140 мА при 5 В
  • Размеры — 52 х 44,5 мм

Плата поддерживает следующие алгоритмы из коробки: отслеживание объектов, распознавание лиц, распознавание объектов, отслеживание линий, распознавание цветов и распознавание тегов.

HuskyLens может изучать новые объекты, лица и цвета с помощью одного нажатия, или долгое нажатие может запустить режим непрерывного обучения, который позволяет изучать объект или лицо с разных углов и диапазонов. Чем больше узнает, тем точнее может быть.

С точки зрения производительности, компания объясняет, что классический алгоритм искусственного интеллекта YOLO работает только на 1–2 кадрах в секунду с STMicro STM32H743, но HuskyLens работает в 30 раз быстрее. Существует не так много деталей о программном обеспечении и прошивке, но должно быть устройство опирается на тот же SDK, что и другие платы Kendryte.

Плата может работать в автономном режиме для образовательных целей, но она также имеет интерфейс UART для подключения к роботам или другим проектам, работающим на платах разработки, таких как Arduino, LattePanda, Raspberry Pi и micro: bit, что разгружает задачи компьютерного зрения. Ниже представлено короткое видео, которое ясно демонстрирует, на что способна платформа, и охватывает различные варианты использования.

https://www.kickstarter.com/projects/1371216747/huskylens-an-ai-camera-click-learn-and-play?ref=video

Несколько дней назад, DFRobot запустил HuskyLens на Kickstarter с целью сбора 30000 CAD (~ 22 800 долларов США), и устройство уже профинансировано. В дальнейшем будем использовать цены в долларах США. Все награды early bird уже закончились, но вы все еще можете внести залог 29,9 долларов за «стандартную» версию с 2 МП камерой. В то время как 5-мегапиксельная «улучшенная» модель обойдется в 59,9 долларов. Если вам нужно больше, чем просто эксперименты с платформой, комплект робота-танка, показанный в видео, также предлагается за 169 долларов. Доставка добавит от 5,3 до 19 долларов в зависимости от вознаграждения, и спонсоры могут ожидать, что устройства будут отправлены примерно в ноябре или декабре 2019 года. Помните, что это краудфандинговая кампания, и часто случаются задержки, поэтому не думайте, что вы обязательно получите устройство до Рождества.

Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.

Оригинал статьи вы можете прочитать здесь.

Комментарии:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.