Существует множество модулей M.2 AI на основе таких ускорителей, как Hailo-8 , MemryX MX3 или Axelera AI, но модуль Geniatech AIM M2 основан на ускорителе ИИ Kinara Ara-2 40 TOPS, о котором мы еще не рассказывали здесь, на CNX Software.
Модуль Key-M предназначен для работы с генеративным искусственным интеллектом и моделями на базе трансформаторов, такими как Stable Diffusion, по более низкой цене, чем у конкурентов, и работает с типичным потреблением энергии менее 2 Вт в рабочих нагрузках компьютерного зрения. Целевые приложения включают помощников AI/Copilot, игры, интеллектуальную розницу, физическую безопасность и автоматизацию производства.
Geniatech AIM M2
Технические характеристики Geniatech AIM M2:
- Ускоритель ИИ
- NPU Kinara Ara-2 с 40 TOPS мощности искусственного интеллекта
- Корпус– 17×17 мм FCBBA
- Системная память – 16 ГБ ОЗУ (опция 4 ГБ/8 ГБ)
- Хост-интерфейс – PCIe Gen4 x4
- Безопасность – безопасная загрузка и зашифрованный доступ к памяти
- Разное – Охлаждение радиатора
- Напряжение питания – 3,3 В
- Потребляемая мощность – менее 2 Вт (типичное значение)
- Тепловой пакет – 12 Вт
- Размеры – 22 x 80 мм (модуль M.2 M-Key 2280)
- Диапазон температур – Эксплуатация: от 0 до 50°C; хранение: от -40 до 85°C
- Влажность — эксплуатация: 5%-90% относительной влажности; хранение: 5%-95% относительной влажности
Ускоритель искусственного интеллекта Kinara Ara-2
Geniatech утверждает, что модуль AIM M2 и, соответственно, ускоритель искусственного интеллекта Kinara Ara-2 поддерживают популярные фреймворки ИИ, такие как TensorFlow, Torchscript, PyTorch, ONNX, Caffe и Mxnet. Поддерживаемые модели включают Llama2.0 и Yolov8.
Доступны драйверы для Linux и Windows, и нам сказали, что модуль был протестирован на NXP, Nvidia, Qualcomm и AMD Xilinx. Более подробную информацию можно найти на веб-сайте Kinara с некоторыми показателями производительности для популярных моделей:
- Стабильная диффузия 1,4–7 секунд на изображение
- Llama-7b – 12 выходных токенов/с
- MobileNetV1 SSD – 974 IPS (задержка 1,02 мс)
- ResNet50 – задержка 2 мс
У Kinara есть собственные модули/эталонные конструкции KM-2 M.2 и KU-2 USB 3.0, а также рекомендуется 2 ГБ ОЗУ для обычного ИИ и 8 ГБ ОЗУ для генеративного ИИ.
Модули Kinara Ara-2 M.2 (вверху) и USB (внизу)
Хотя нам говорят, что Kinara Ara-2 предлагает «непревзойденную экономическую эффективность», нам не удалось найти информацию о ценах ни для одного из модулей выше. Более подробную информацию о Geniatech AIM-M2 можно найти на странице продукта. У них также есть модуль AIM-B2 с разъемами «плата-плата» и использующий тот же чипсет 40 TOPS Ara-2, но неясно, для какой несущей платы он предназначен. [ Обновление : компания отправила фотографию комплекта разработки i.MX 8M Plus, который они используют с разъемами M.2 и B2B, и они также сказали нам, что обычно предоставляют документацию по проектированию оборудования, чтобы они могли разработать свою собственную несущую плату для модуля ИИ.
Комплект разработчика i.MX 8M Plus с разъемами B2B и M.2
Выражаем свою благодарность источнику с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.