Жан-Люк отметил модуль ускорителя искусственного интеллекта MemryX MX3 Edge, рассказывая об ускорителях искусственного интеллекта DeGirum ORCA M.2 и USB Edge в прошлом месяце, поэтому сегодня мы рассмотрим этот чип искусственного интеллекта и соответствующие модули, которые запускают нейронные сети компьютерного зрения с использованием распространенных платформ, таких как TensorFlow, TensorFlow Lite, ONNX, PyTorch и Keras.
Технические характеристики MemryX MX3
MemryX не раскрыла подробной статистики производительности этого чипа. Все, что мы знаем, это то, что он предлагает более 5 TFLOPs. Перечисленные характеристики включают в себя:
- Bfloat16
- Batch = 1
- Размер данных: 4, 8 и 16-битный.
- ~10 миллионов параметров хранятся на кристалле
- Хост-интерфейсы — ввод-вывод PCIe Gen 3 и/или USB 2.0/3.x
- Потребляемая мощность – ~1,0 Вт
- Компиляция в один клик для MX-SDK при отображении нейронных сетей, состоящих из нескольких слоев.
MX3 использует вычислительные механизмы MemryX (MCE), которые тесно связаны с вычислениями в оперативной памяти. Такая конструкция создает собственную, запатентованную архитектуру потока данных, которая использует до 70% чипа всего одним щелчком мыши по сравнению с 15-30% в традиционных процессорах, GPU и DSP, использующих устаревшие наборы команд и архитектуры потока управления после настройки программного обеспечения.
Внутренний дизайн MemryX MX3
Форм-фактор
Этот Edge AI-процессор предлагается либо в виде голого кристалла, в корпусе с одним кристаллом, либо в виде модулей (mini PCIe или M.2) с одним или несколькими чипами MemryX MX3.
Модуль M.2 с четырьмя чипами MemryX MX3 – Источник: Марк Хахман, PCWorld
MemryX MX3 EVB
Плата MX3 EVB (Evaluation Board) представляет собой печатную плату с четырьмя микросхемами MX3, и вы можете подключить несколько плат EVB, используя единый интерфейс, для обеспечения требуемой мощности вывода. Каждая из этих четырех микросхем имеет корпус с одним кристаллом.
MX3 SDK
MX SDK помогает моделировать и развертывать обученные модели искусственного интеллекта. MemryX разрабатывает свои продукты таким образом, чтобы::
- Обеспечивать реальную производительность на ватт
- Запускать обученные модели на любой популярной платформе без необходимости внесения изменений в программное обеспечение или переподготовки.
- Обеспечивать высокую масштабируемость и степень детализации.
- Запускать модели искусственного интеллекта одинаково на всех основных процессорах независимо от загрузки системы.
- Предоставлять один и тот же SDK (программное обеспечение для компиляции) в один клик.
Центр разработчиков этого SDK состоит из компилятора (для обработки, отображения и сборки графов), служебных инструментов (симулятор с высокой точностью, анализатор производительности, профилировщик, вспомогательные инструменты для микросхем и шаблонные приложения) и среды выполнения с API, драйверами ОС и средой выполнения потока данных.
Архитектура MX3-SDK
Вы можете использовать MX3 EVB с развертываниями Edge Impulse после установки таких зависимостей, как Python 3.8+, инструменты и драйверы MemryX, а также Edge Impulse (для Linux). Затем подключите плату к Edge Impulse и убедитесь, что она подключена, зайдя в свои проекты и нажав «Устройства».
Демонстрация MemryX MX3
Хотя компания не предоставила много подробностей о производительности чипа, они загрузили демонстрационное видео с использованием виртуальной камеры AirSim – программного обеспечения, которое создает наборы данных для автономного вождения и полетов, – в котором сравнивается компьютер, оснащенный модулем MX3 M.2, с компьютером, оснащенным графическим процессором NVIDIA 4060.
Задержка была очень низкой при работе на модуле MX3, но резко возросла при переключении на графический процессор NVIDIA 4060, и был отчетливо слышен громкий шум от охлаждающих вентиляторов.
Более подробную информацию можно найти на сайте компании .
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.