Модуль Axelera Metis M.2 Max Edge AI удваивает скорость обработки LLM и VLM

Axelera AI Metis M.2 Max представляет собой модуль формата M.2 на базе усовершенствованного блока обработки ИИ Metis (AIPU), обеспечивающий вдвое большую пропускную способность памяти по сравнению с текущим модулем Metis M.2 для вычислительно интенсивных приложений Edge AI, таких как большие языковые модели (LLM) и визуальные языковые модели (VLM).

Новый Metis M.2 Max также предлагает более тонкий профиль, усовершенствованные функции терморегулирования и дополнительные возможности безопасности. Он оснащен до 16 ГБ памяти, и будут предлагаться версии как для стандартного диапазона рабочих температур (-20°C до +70°C), так и для расширенного диапазона рабочих температур (-40°C до +85°C). Эти улучшения делают Metis M.2 Max идеальным для применений в промышленном производстве, розничной торговле, безопасности, здравоохранении и общественной безопасности.

Metis M.2 Max

Характеристики Axelera AI Metis M.2 Max и требования к хосту:

  • Акселератор – Metis AIPU
  • Системная память – Память 1 ГБ, 4 ГБ, 8 ГБ или 16 ГБ
  • Интерфейс хоста – Краевой разъем M.2 2280 M-key с PCIe Gen. 3.0 x4
  • Совместимость – Процессоры Intel Core, процессоры AMD Ryzen, процессоры на базе Arm64 (aarch64).
  • Безопасность – Целостность прошивки через безопасную загрузку и функции безопасного обновления, построенные на аппаратном корне доверия (Root-of-Trust)
  • Разное
    • Встроенный датчик питания, который можно использовать для автоматической настройки производительности под конкретные параметры для развертываний с ограничениями по мощности и тепловыделению.
    • Опциональный низкопрофильный радиатор для охлаждения (уменьшает высоту платы на 27% по сравнению с текущей платой M.2)
  • Питание – Соответствует спецификации M.2 ревизии 4.0 от PCI-SIG (средняя мощность 11,55 Вт, пиковая мощность 23,1 Вт).
  • Диапазон температур
    • Стандартный – от -20°C до +70°C
    • Расширенный – от -40°C до +85°C

Axelera Metis M.2 Max Top Bottom

Как и предыдущий модуль Metis M.2, вариант Max поддерживается Voyager SDK. Axelera AI заявляет, что нативная поддержка Linux протестирована на Ubuntu 22.04, в то время как руководство по Docker (требуется вход в систему) доступно для других дистрибутивов Linux.

Компания предоставляет дополнительную информацию о производительности в пресс-релизе :

M.2 Max обеспечивает прирост производительности на 33% в сверточных нейронных сетях (CNN) и удваивает количество токенов в секунду для LLM и VLM, оставаясь при этом в типичном среднем диапазоне мощности 6,5 Вт.

Примечательно, что на этот раз они не включили никакой информации о TOPS или даже четких результатов тестов. Для справки: Metis AIPU может обеспечивать до 214 TOPS, хотя, вероятно, не в форм-факторе M.2.

Metis M2 heatsink
Модуль Metis M.2 первого поколения с радиатором. Новый Metis M.2 Max будет поставляться с более тонким радиатором (пока нет изображения)

Поставки Metis M.2 Max начнутся в четвертом квартале 2025 года. Он уже представлен в веб-магазине Axelera без информации о цене, но для справки: существующая плата Metis M.2 продается за 229,95 € без решения для охлаждения или за 241,95 € с активным решением для охлаждения, показанным выше. Новая модель должна быть дороже, возможно, в диапазоне от 300 до 400 евро.

Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.

Оригинал статьи вы можете прочитать здесь.

0 0 votes
Article Rating
Подписаться
Уведомление о
guest

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.

0 Комментарий
Oldest
Newest Most Voted
Inline Feedbacks
View all comments