M5Stack AI-8850 LLM Accelerator M.2 Kit предлагает альтернативу Raspberry Pi AI HAT+ 2

Комплект состоит из M.2 карты и платы Raspberry Pi-HAT 8850 с входом питания USB PD для карты и Raspberry Pi 5, 16-контактного разъема PCIe и 40-контактного заголовка GPIO для подключения к одноплатному компьютеру, а также аксессуаров.

Характеристики M5Stack AI-8850 LLM accelerator M.2 kit:

• M5Stack LLM‑8850 M.2 карта
  • SoC – Axera AX8850
    • CPU – Восьмиядерный процессор Cortex‑A55 с частотой 1,7 ГГц
    • NPU – 24 TOPS @ INT8
    • VPU
      • Видеоэнкодер – Кодирование 8K @ 30 fps H.264/H.265, поддерживает масштабирование / обрезку
      • Видеодекодер – Декодирование 8K @ 60 fps H.264/H.265, поддерживает 16 каналов параллельного декодирования 1080p, поддерживает масштабирование / обрезку
  • Память (два варианта)
    • 8GB 64‑бит LPDDR4x @ 4266 Мбит/с
    • 4GB 64-бит LPDDR4x, 4266 Мбит/с (пока недоступно)
  • Накопитель – 32 Мбит QSPI NOR Flash (только для загрузчика)
  • Интерфейс хоста – PCIe 2.0 x2 через краевой разъем M.2 Key-M
  • Охлаждение – Микро-вентилятор + интегрированный радиатор из алюминиевого сплава, изготовленный методом ЧПУ
  • Питание – 3,3 В через краевой разъем
  • Потребление энергии – До 7 Вт
  • Габариты – 42,6 x 24,0 x 9,7 мм (форм-фактор M.2 M-Key 2242)
  • Вес – 14,7 грамма
• Адаптерная плата Pi HAT 8850
  • Интерфейсы Raspberry Pi
    • 16-контактный соединитель FFC PCIe Gen2/3 x1
    • 40-контактный заголовок GPIO (только для расширения выводов)
  • Разное
    • Светодиоды питания PCIe, питания Raspberry Pi и ACT
  • Питание
    • Вход постоянного тока 9 В/12 В/20 В через порт USB Type-C PD 3.0 (протокол 100 Вт)
    • Возможность нагрузки – Выход на Raspberry Pi 5: постоянный ток 5 В @ 4 А; Выход на карту ускорения M.2: постоянный ток 3,3 В @ 6 А
    • Защита от перенапряжения постоянного тока 24 В
    • Требования к питанию – 9В @ 3А (27 Вт) для Raspberry Pi 5 и карты LLM-8850
• Габариты – 65.0 x 58.0 x 12.7 мм
• Вес – 31.9 грамм
• Диапазон температур
  • Эксплуатация – от 0 до 60°C
  • Температура при полной нагрузке при комнатной температуре – 70°C

В комплект входят карта LLM-8850 (8 ГБ), плата расширения LLM-8850 PiHat, 40-контактный гнездовой заголовок и набор винтов и стоек. Компания подчеркивает нативную поддержку AXCL для запуска полноценных моделей одним щелчком, включая CNN, Transformer, CLIP, Whisper, Llama3.2, Qwen3, InternVL3 и т.д. Также поддерживается одновременное кодирование/декодирование H.264/H.265 для транскодирования.

После установки драйвера AXCL на Raspberry Pi 5, для начала работы можно загрузить различные демо-версии, перечисленные в вики . Предоставлен довольно длинный список моделей:

• Компьютерное зрение – YOLO11, Yolo-World-V2, Yolov7-face, Depth-Anything-V2, MixFormer-V2, Real-ESRGAN, SuperResolution, RIFE
• Большие языковые модели – Qwen3-0.6B, Qwen3-1.7B, Qwen2.5-0.5B-Instruct, Qwen2.5-1.5B-Instruct, DeepSeek-R1-Distill-Qwen-1.5B, MiniCPM4-0.5B
• Мультимодальные – InternVL3-1B, Qwen2.5-VL-3B-Instruct, SmolVLM2-500M-Video-Instruct, LibCLIP
• Аудио – Whisper, MeloTTS, SenseVoice, CosyVoice2, 3D-Speaker-MT
• Генеративные – lcm-lora-sdv1-5, SD1.5-LLM8850, LivePortrait

В ходе обзора Raspberry Pi AI HAT+ 2 была отмечена хорошая производительность в задачах компьютерного зрения, но производительность LLM была невысокой, даже ниже, чем при запуске модели на процессоре Raspberry Pi 5. Это в основном связано с тем, что LLM ограничены пропускной способностью памяти, а акселератор ИИ Hailo-10H на AI HAT+ 2 использует такую же память LPDDR4X-4267 объемом 8 ГБ, как и в Raspberry Pi 5. Поскольку Axera AX8850 оснащена памятью 8 ГБ 64‑бит LPDDR4x @ 4266 Мбит/с, следует ожидать схожей производительности. Для справки: измеренные показатели для Qwen2.5-1.5B-Instruct составили 6.74 токенов/с на HAT+ 2 и 11.73 токенов/с на devkit для CM5, а вики показывает 15.03 токенов/с для той же модели LLM на Axera AX8850. Таким образом, может наблюдаться некоторое преимущество в производительности, либо модели имеют разную оптимизацию. В любом случае, подобные карты скорее являются «разгрузчиками» для LLM, чем «ускорителями», и для лучшей производительности, возможно, стоит дождаться появления ускорителей Rockchip RK1820/RK1828 , которые обещают пропускную способность до 1 ТБ/с.

Главным преимуществом комплекта LLM-8850 (8 ГБ) является, вероятно, встроенный VPU для аппаратного декодирования и кодирования видео, что делает его полезным для решений типа Frigate NVR . Один из недостатков – модуль Axera потребляет больше энергии (7 Вт против 3 Вт) и требует активного охлаждения, в то время как Hailo-10H может охлаждаться пассивно с помощью радиатора.

В то время как Raspberry Pi AI HAT+ стоит $130, комплект AI-8850 LLM Accelerator M.2 Kit продается по более высокой цене – $215 на AliExpress или в магазине M5Stack . Возможно, что-то упускается, но модуль LLM-8850 M.2 указан по цене $139 (против $99 в октябре из-за роста цен на оперативную память), и не совсем ясно, что оправдывает дополнительные $76 за плату расширения и аксессуары, если только схема питания на 100 Вт USB PD не добавляет существенно к стоимости.

Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.

Оригинал статьи вы можете прочитать здесь.