На днях мы наткнулись на Edge AI-сервер на базе Atom, предлагаемый с рядом модулей ускорителя AI, а именно Hailo-8, Blaize P1600, Degirum ORCA и MemryX MX3. Мы никогда не слышали о последних двух, о модуле MemryX мы, возможно, поговорим чуть позже, а сегодня подробнее рассмотрим чип Degirum ORCA и модуль M.2 PCIe.
DeGirum ORCA предлагается в виде ASIC, модуля M.2 2242 или 2280 PCIe или (в ближайшее время) модуля USB и поддерживает форматы моделей TensorFlow Lite и ONNX, а также точность INT8 и Float32 ML. Они были анонсированы в сентябре 2023 года и уже протестированы на ряде мини-ПК и встраиваемых блочных ПК от Intel (NUC), AAEON, GIGABYTE, BESSTAR и Seeed Studio (reComputer).
Модуль Degirum ORCA M.2 PCIe
Технические характеристики DeGirum ORCA:
- Поддерживаемые форматы моделей ML — ONNX, TFLite
- Поддерживаемая точность модели ML — Float32, Int8
- Интерфейс DRAM — опционально 1 ГБ, 2 ГБ или 4 ГБ 32-разрядного LPDDR4X
- Хост-интерфейсы
- PCIe 2×4 (3-е поколение, корневой порт и конечная точка)
- USB — USB 3.1 Gen2, USB 2.0
- Другие входы/выходы — ведущий/ведомый QSPI, I2C, UART, 32x GPIO
- Разное — масштабируемая архитектура, что означает возможность подключения нескольких чипов для линейного увеличения производительности.
- Потребляемая мощность – < 3,5 Вт
- Корпус — 15×15 мм BGA 484 Ball MAF-FCCSP
- Диапазон температур – от 0°C до 70°C
Degirum продает два модуля M.2 PCIe: один модуль M.2 2280 с DRAM, который потребляет менее 4,5 Вт, и модуль M.2 2242 без DRAM, который потребляет менее 4 Вт. USB-ключи ORCA также представлены в списке (без подробностей), и они доступны только для предварительного заказа прямо сейчас. Преимущество наличия оперативной памяти в модуле объясняется следующим образом:
Поддержка доступа к DRAM в нашем ускорителе искусственного интеллекта дает пользователям значительные преимущества. Благодаря возможности прямого доступа к DRAM наш ускоритель искусственного интеллекта может обеспечить более высокую скорость передачи данных, что приводит к повышению производительности и уменьшению задержек. Помимо обеспечения более высокой скорости передачи данных, поддержка доступа к DRAM в нашем ускорителе искусственного интеллекта также позволяет быстро и плавно переключать модели нейронных сетей (NN). Благодаря этой возможности наши клиенты могут легко переключаться между различными моделями NN без необходимости трудоемкой передачи данных, сокращая время простоя и повышая производительность. Эта функция особенно ценна для приложений, требующих частого изменения модели, таких как распознавание изображений или речи, где могут потребоваться разные модели для обработки различных наборов данных или конкретных задач. Обеспечивая быстрое переключение моделей непосредственно из DRAM, наш ускоритель искусственного интеллекта обеспечивает пользователям большую гибкость и эффективность рабочих процессов искусственного интеллекта.
Нам не удалось найти какие-либо (более или менее полезные) цифры TOPS, но компания предоставляет некоторые показатели производительности машинного обучения с изображением «DeGirum YOLO_V5s с входным размером 512 × 512», обработанным со скоростью 120 кадров в секунду (Dense) или 180 кадров в секунду (Prune) с задержкой 8,3 мс (Dense) и 5,5 мс (Pruned). Дополнительные тесты вы найдете в репозитории примеров PySDK, который поставляется с различными примерами Python (обнаружение объектов, классификация звука, распознавание номерных знаков и т. д.) с использованием Degirum SDK и таких моделей, как MobileNet v2/1, Yolov5 и resnet50. SDK поддерживается в Linux, но компания также заявляет, что поддержка Windows и Mac может быть предоставлена по запросу. Техническую документацию можно найти на сайте компании.
Сервис облачной фермы DeGirum
Карты M.2 PCIe можно заказать уже сейчас, но только после указания названия вашей компании и ожидаемого объема заказа. Ключ ORCA USB 3.1 Gen2 доступен только для предварительного заказа посредством аналогичной процедуры, но нам не удалось найти цены. Однако оценить оборудование ORCA можно через облачную платформу компании, которая включает бесплатный план. Более подробную информацию можно найти на странице продукта.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.