Карта M5Stack LLM-8850 представляет собой модуль ускорения ИИ формата M.2 с ключом M размера 2242, работающий на базе SoC Axera AX8850 с производительностью 24 TOPS (INT8), и подходит для host-устройств, таких как Raspberry Pi 5, одноплатные компьютеры на Rockchip RK3588, и даже x86 ПК, например мини-ПК со свободным сокетом M.2 Key-M.
Карта поставляется с 8 ГБ RAM, 32 Мбит SPI NOR flash, а также поддерживает кодирование видео H.265/H.264 8K @ 30 fps и декодирование 8K @ 60 fps, с поддержкой до 16 каналов для видео 1080p. Она также оснащена активной системой охлаждения для поддержания стабильных температур и предотвращения тепловой деградации внутри корпусов.
Характеристики карты M5Stack LLM-8850:
- SoC – Axera AX8850
- CPU – восьмиядерный процессор Cortex-A55 с частотой 1,7 ГГц
- NPU – 24 TOPS @ INT8
- VPU
- Видеокодер – кодирование H.264/H.265 8K @ 30 кадров/с, поддерживает масштабирование / обрезку
- Видеодекодер – декодирование H.264/H.265 8K @ 60 кадров/с, поддерживает параллельное декодирование 16 каналов 1080p, поддерживает масштабирование / обрезку
- Память – 8 ГБ 64-бит LPDDR4x @ 4266 Мбит/с
- Накопитель – 32 Мбит QSPI NOR Flash (только для загрузчика)
- Интерфейс подключения – PCIe 2.0 x2 через краевой соединитель M.2 Key-M
- Охлаждение – микротурбовентилятор + интегрированный радиатор из алюминиевого сплава, изготовленный методом ЧПУ
- Питание – 3,3 В через краевой соединитель
- Потребляемая мощность – до 7 Вт
- Габариты – 42,6 x 24,0 x 9,7 мм
- Вес – 14,7 грамм
- Диапазон температур
- Рабочий – от 0 до 60°C
- Температура при полной нагрузке при комнатной температуре – 70°C
Карта работает с Ubuntu 20.02, 22.04 и 24.04, а также Debian 12, но программная поддержка недоступна для других операционных систем, таких как Windows, macOS или даже Windows WSL. Это связано с тем, что она зависит от драйвера axcl-smi, доступного только в Linux.
После установки драйвера на Raspberry Pi 5 или другой одноплатный компьютер или мини-ПК под Linux, можно загрузить различные демо, перечисленные в wiki чтобы начать работу. Предоставлен довольно длинный список моделей:
- Vision – YOLO11, Yolo-World-V2, Yolov7-face, Depth-Anything-V2, MixFormer-V2, Real-ESRGAN, SuperResolution, RIFE
- Large Language – Qwen3-0.6B, Qwen3-1.7B, Qwen2.5-0.5B-Instruct, Qwen2.5-1.5B-Instruct, DeepSeek-R1-Distill-Qwen-1.5B, MiniCPM4-0.5B
- Multimodal – InternVL3-1B, Qwen2.5-VL-3B-Instruct, SmolVLM2-500M-Video-Instruct, LibCLIP
- Audio – Whisper, MeloTTS, SenseVoice, CosyVoice2, 3D-Speaker-MT
- Generative – lcm-lora-sdv1-5, SD1.5-LLM8850, LivePortrait
M5Stack не предоставила результаты бенчмарков или не попыталась сравнить SoC Axera AX8850 с другими ускорителями ИИ, хотя вики раскрывает некоторые цифры, такие как 12,88 токенов/с для Qwen3-0.6B с квантованием w8a16. На основе спорного числа TOPS, это выглядит как потенциальный конкурент для 26 TOPS Hailo-8 AI accelerator . Однако последний оптимизирован для приложений компьютерного зрения, а для задач, таких как LLM, Axera 8850 будет значительно превосходить.
Цена карты LLM-8850 находится в том же диапазоне, и даже немного дешевле, чем продукт, такой как Raspberry Pi AI HAT+ 26 TOPS ($110), и намного доступнее, чем ~$200 Hailo-8 M.2 card . M5Stack продает модуль M.2 на Axera AX8850 за $99 на AliExpress и собственный интернет-магазин .
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.