M5Stack Module LLM — еще одно устройство от компании, которое обеспечивает управление искусственным интеллектом без доступа в Интернет. Оно описывается как «интегрированный автономный модуль вывода Large Language Model (LLM)», который может использоваться для внедрения локальных решений на основе LLM в умных домах, голосовых помощниках и промышленном управлении.
Модуль LLM работает на базе AX630C SoC, оснащенной 4 ГБ памяти LPDDR4, 32 ГБ хранилища и NPU 3,2 TOPS (INT8) или 12,8 TOPS (INT4). M5Stack утверждает, что основной чип имеет среднее энергопотребление во время работы 1,5 Вт, что делает его пригодным для длительной работы. Он имеет встроенный микрофон, динамик, слот для карт microSD и USB OTG. Порт USB может подключать периферийные устройства, такие как камеры и отладчики, а слот для карт microSD поддерживает холодные и горячие обновления прошивки.
Модуль M5Stack LLM присоединяется к списку других офлайновых решений LLM на устройстве, таких как SenseCAP Watcher, Useful Sensors’ AI in a box и Radxa Fogwise Airbox . Он совместим с контроллерами CoreMP135, CoreS3 и Core2 IoT.
Технические характеристики модуля M5Stack LLM:
- SoC – Axera Tech AX630C
- Процессор – двухъядерный Arm Cortex-A53 @ 1.2 ГГц; 32 КБ I-кэша, 32 КБ D-кэша, 256 КБ кэша L2
- NPU – 12,8 TOPS @ INT4 (максимально), 3,2 TOPS @ INT8
- ISP– 4K @ 30 кадров в секунду
- Видео – кодирование: 4K; декодирование: 1080p при 60 кадрах в секунду, только H.264
- Поддерживает одноканальный интерфейс RGMII/RMII PHY
- Память – 4 ГБ LPDDR4 RAM (1 ГБ системной + 3 ГБ выделенной для аппаратного ускорения)
- Память – 32 ГБ флэш-памяти eMMC 5.1, слот для карт microSD
- Аудио
- Аудио-драйвер: AW8737
- Динамик: 8 Ом @ 1 Вт, резонаторный динамик 2014 г.
- Встроенный микрофон
- Аудио-функции ИИ – преобразование текста в речь (TTS), автоматическое распознавание речи (ASR), обнаружение ключевых слов (KWS)
- USB – 1x USB OTG-порт
- Последовательный порт – 1x UART (скорость передачи данных по умолчанию 115200 @ 8N1)
- Расширение – 8-контактный интерфейс FPC для подключения комплекта отладки Ethernet (под динамиком)
- Разное
- 3x RGB-светодиода (индикация состояния)
- 1x кнопка загрузки
- Питание – 5 В через порт USB-C
- Потребляемая мощность
- В режиме ожидания: 5 В @ 0,5 Вт
- Полная нагрузка: 5 В при 1,5 Вт
- Размеры – 54 x 54 x 13 мм.
- Вес – 17,4 г.
- Рабочая температура – от 0 до 40°C
Модуль LLM интегрирован с фреймворком StackFlow и совместим с библиотеками Arduino и UIFlow. Учебные пособия и другая информация доступны на веб-сайте документации M5Stack. Устройство выгодно отличается от Jetson Orin Nano @ 10 Watts, как показано в сравнительной таблице ниже.
Он совместим с различными моделями и поставляется с предустановленной языковой моделью Qwen2.5-0.5B. Эта модель обеспечивает поддержку wake-word, преобразования текста в речь и распознавания речи для автономной работы и систем конвейеров. M5Stack говорит, что модуль будет поддерживать модели Qwen2.5-1.5B, Llama3.2-1B и InternVL2-1B в будущем. Он поддерживает модели компьютерного зрения, CLIP и YoloWorld, с запланированными обновлениями для DepthAnything, SegmentAnything и других моделей.
Отладочная плата LLM
Модуль LLM стоит 49,90$ в магазине M5Stack , но на момент написания обзора его не было в наличии. Комплект отладки LLM продается отдельно (также недоступен) и может использоваться для добавления порта Ethernet 100 Мбит/с и последовательного порта ядра к модулю для использования в качестве одноплатного компьютера. Модуль LLM и отладка должны в конечном итоге стать доступными в магазинах Amazon и AliExpress компании M5Stack .
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь