Firefly EC-R3576PC FD описывается как «встраиваемый крупногабаритный компьютер», работающий на базе восьмиядерного процессора Rockchip RK3576 Cortex-A72/A53 с NPU 6 TOPS и поддерживающий большие языковые модели (LLM), такие как Gemma-2B, LlaMa2-7B, ChatGLM3-6B или Qwen1.5-1.8B.
Похоже, что он основан на ROC-RK3576-PC SBC, о котором мы говорили несколько недель назад, и также разработан для LLM. Но EC-R3576PC FD — это готовое решение, которое будет работать из коробки и должно обеспечить достойную производительность теперь, когда был выпущен набор инструментов RKLLM с ускорением NPU. Однако обратите внимание, что при использовании RK3576 вместо RK3588 есть некоторые нюансы, которые мы обсудим ниже.
Технические характеристики Firefly EC-R3576PC FD:
- SoC – Rockchip RK3576
- Процессор
- 4х ядра Cortex-A72 с частотой 2,2 ГГц, 4х ядра Cortex-A53 с частотой 1,8 ГГц
- Микроконтроллер Arm Cortex-M0 на частоте 400 МГц
- Графический процессор – графический процессор ARM Mali-G52 MC3 с тактовой частотой 1 ГГц с поддержкой OpenGL ES 1.1, 2.0 и 3.2, OpenCL до 2.0 и встроенного 2D-ускорения Vulkan 1.1
- NPU – 6 TOPS (INT8) ускоритель ИИ с поддержкой смешанных операций INT4/INT8/INT16/BF16/TF32.
- VPU
- Видеодекодер: H.264, H.265, VP9, AV1 и AVS2 до 8K при 30 кадрах в секунду или 4K при 120 кадрах в секунду.
- Видеокодер: H.264 и H.265 до 4K при 60 кадрах в секунду, кодер/декодер (M)JPEG до 4K при 60 кадрах в секунду.
- Процессор
- Системная память – 4 ГБ или 8 ГБ 32-бит LPDDR4/LPDDR4x
- Хранилище
- 16–256 ГБ флэш-памяти eMMC
- Дополнительное хранилище UFS 2.0
- Слот для карты MicroSD
- Разъем M.2 PCIe NVMe/SATA для твердотельного накопителя M.2 2242
- Видеовыход
- Порт HDMI 2.0 до 4Kp120
- DisplayPort 1.4 через USB-C до 4Kp120
- Аудио
- Аудиоразъем 3,5 мм (поддержка наушников и микрофона)
- Цифровой аудиовыход через HDMI и USB-C/DisplayPort
- Интерфейс камеры – 1x MIPI CSI DPHY (30-контактный, 0,5 мм, 1*4 полосы/2*2 полосы)
- Сетевое подключение
- Низкопрофильный порт Gigabit Ethernet RJ45 с Motorcomm YT8531
- Двухдиапазонный WiFi 5 и Bluetooth 5.0 через AMPAK AP6256; разъем антенны SMA
- USB – 1х порт USB 3.0, 1х порт USB 2.0, 1х порт USB 3.0 Type-C с режимом DisplayPort Alt
- Расширение
- 40-контактный разъем GPIO
- M.2 для разъема PCIe
- Разное – Внешний сторожевой таймер
- Питание – 12 В постоянного тока через разъем постоянного тока 5,5/2,1 мм; поддержка широкого диапазона входного напряжения от 12 В до 24 В постоянного тока
- Потребляемая мощность – типичная: 1,2 Вт (12 В/100 мА); макс.: 6 Вт (12 В/500 мА); минимальная: 0,096 Вт (12 В/8 мА)
- Размеры – 116 x 105,2 x 31,5 мм
- Вес – 430 грамм.
- Диапазон температур – от -20°C до 60°C
- Влажность – от 10% до 90% относительной влажности (без конденсации)
Встраиваемый крупногабаритный компьютер Firefly EC-R3576PC FD поддерживает Android 14, Ubuntu и Linux+Qt, созданные с помощью Buildroot. Поскольку система в основном нацелена на использование в качестве компьютера Edge AI, компания подчеркивает поддержку крупномасштабных моделей в архитектуре Transformer, таких как Gemma-2B, LlaMa2-7B, ChatGLM3-6B, Qwen1.5-1.8B и других. Но устройство также поддерживает традиционные архитектуры нейронных сетей, такие как CNN, RNN и LSTM, совместимые с фреймворками глубокого обучения, включая TensorFlow, PyTorch, MXNet, PaddlePaddle, ONNX и Darknet. Wiki для встраиваемого компьютера в настоящее время пуста, но Wiki для ROC-RK3576-PC SBC поставляется с образами Android 14 и Ubuntu 22.04, а также различными инструментами.
При тестировании библиотеки RKLLM на одноплатном компьютере Radxa на базе Rockchip RK3588(S) были достигнуты следующие показатели:
- TinyLlama 1.1B – 15,03 токенов/с
- Qwen 1.8B – 14,18 токенов/с
- Phi3 3.8B – 6.46 токенов/с
- ChatGLM3 – 3,67 токенов/с
Можно было бы подумать, что RK3588 и RK3576 будут иметь схожую производительность, учитывая, что производительность одинаковая 6 TOPS. Но нам указали, что в то время как RK3588 поддерживает 64-битную память, RK3576 ограничен 32-битной памятью, а модели LLM сильно зависят от пропускной способности памяти, поэтому производительность на RK3576 может быть фактически вдвое ниже. Меньшие LLM с параметрами от 1 до 2B все еще должны быть пригодны для использования, но большие LLM должны быть довольно медленными.
Одним из потенциальных вариантов использования может быть робот, умный динамик или интерактивные киоски с распознаванием голоса и преобразованием текста в речь, использующие LLM для взаимодействия с пользователем. Firefly EC-R3576PC FD не будет таким мощным, как другие встроенные ИИ-боксы, такие как Radxa Fogwise Airbox , но он также значительно дешевле — 185$ в конфигурации 4 ГБ/32 ГБ и 215$ с 8 ГБ ОЗУ и 64 ГБ флэш-памяти. Больше подробностей можно найти на странице продукта. Версия RK3588 доступна на AliExpress, но по цене 300$ и выше она не может конкурировать с Radxa Fogwise Airbox для обработки LLM.
Выражаем свою благодарность источнику с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.