Rockchip представила два ускорителя LLM/VLM RK182X на своей конференции для разработчиков в июле прошлого года: RK1820 с 2.5 ГБ ОЗУ для моделей с 3B параметров и RK1828 с 5 ГБ ОЗУ для моделей с 7B параметров.
Прошло несколько месяцев, и появилось больше деталей, так как теперь доступен набор для разработки на основе модуля SO-DIMM Rockchip RK1820/RK1828, выпущена базовая документация, а RK1828 был протестирован против NPU Rockchip RK3588. Также стало известно, что модули форм-фактора M.2 скоро появятся.
Набор для разработки Firefly RK182X с трёхмерной компоновкой памяти
«Набор для разработки RK182X с трёхмерной компоновкой памяти» построен на базовой плате AIO-GS1N2, которая ранее предлагалась с модулями Rockchip RK3576 или RK3588(s) или с модулем ИИ NVIDIA Jetson Orin Nano/NX.
Характеристики:
- Основной модуль (в настоящее время в составе набора RK182x продаётся только вариант с RK3588)
- Core-3588JD4 – Rockchip RK3588 с NPU 6 TOPS, 4–32 ГБ LPDDR4/LPDDR4x, 32–256 ГБ флеш-памяти eMMC, декодер видео 8Kp60, кодер видео 8Kp30
- Core-3588SJD4 AI – Rockchip RK3588S с NPU 6 TOPS, 4–32 ГБ LPDDR5, 32–128 ГБ флеш-памяти eMMC, декодер видео 8Kp60, кодер видео 8Kp30
- Core-3576JD4 – Rockchip RK3576 с NPU 6 TOPS, 2–16 ГБ LPDDR4/LPDDR4x, 16–256 ГБ флеш-памяти eMMC, декодер видео 8Kp30, кодер видео 4Kp60
- Дополнительный модуль
- Модуль SO-DIMM Rockchip RK1820 (совместимый с Jetson Nano/NX) со встроенной DRAM 2.5 ГБ, вычислительной мощностью 20 TOPS (INT8), для больших языковых моделей до 3B параметров
- Модуль SO-DIMM Rockchip RK1828 (совместимый с Jetson Nano/NX) со встроенной DRAM 5 ГБ, вычислительной мощностью 20 TOPS (INT8), для больших языковых моделей до 7B параметров
- Накопители
- Слот для карты MicroSD
- 2 порта SATA 3.0 (доступны только при использовании основного модуля Core-3588JD4; примечание: на базовой плате 3 разъёма SATA, но не все работают с модулями Rockchip)
- NVMe SSD через разъёмы M.2 Key-M 2280
- Видеовыход
- HDMI 2.0 с разрешением 1080p по умолчанию
- Порт VGA до 1080p
- Аудио – Входные и выходные разъёмы RCA
- Сетевые интерфейсы
- 9 портов Gigabit Ethernet RJ45 с функциональностью PSE при питании от блока ATX 48В
- 1 порт управления RJ45 (недоступен с Core-3588SJD4 AI)
- Опционально двухдиапазонный WiFi 2.4 ГГц/5 ГГц через разъём M.2 E-Key (совместно используется с SATA0, по умолчанию не установлен)
- USB
- 2 порта USB 3.0
- 1 порт USB 3.0 через 20-контактный разъём
- Расширение
- До 4 разъёмов M.2 Key-M (только два разъёма распаяны, и только один доступен для использования с модулями Rockchip)
- Площадка для разъёма M.2 Key-E
- 2 10-контактных разъёма для RS485, UART и GPIO
- Отладка – 3-контактный отладочный разъём для последовательной консоли
- Прочее
- Кнопки питания, MaskROM и сброса
- DIP-переключатель для конфигурации автоматического включения
- Переключатель режима USB (Host/Device)
- 4-контактный разъём для вентилятора
- 4-контактный разъём для системного вентилятора
- Питание
- 24В постоянного тока /5А через разъём питания 5.5 × 2.1мм
- 6-контактный разъём питания ATX 12В
- 4-контактный разъём ATX 48В; обеспечивает питание PoE (PSE) для терминальных устройств.
- Габариты – 231.27мм × 164.13мм × 33.57мм
- Вес – 350 грамм
- Температурный диапазон – Рабочий: от -20°C до 60°C; хранения: от -20°C до 70°C
- Влажность – Хранения: 10%～90%RH (без конденсации)
Компания предоставляет образ Debian 12 с ядром Linux 6.1 для набора разработки с системным модулем Core-3588JD4. Чипы Rockchip RK1820 и RK1828 поддерживаются набором инструментов RKNN3, который отличается от более ранних наборов RKNN и RKNN2 . Он предоставляет C API и поддерживает преобразование моделей, вывод и оценку производительности. Вики содержит базовую документацию, но не объясняет, как получить RKNN3 Toolkit, который в конечном итоге должен быть выпущен на аккаунте AIRockchip на Github . Предположительно, инструменты предустановлены в образах Debian 12. Помимо набора для разработки RK182X с трёхмерной компоновкой памяти, Firefly также упоминает о поддержке модулей RK182X на сервере для сетевых видеорегистраторов GS1-N2 AI.
Тесты больших языковых, визуально-языковых моделей и компьютерного зрения на Rockchip RK1820/RK1828
Компания также поделилась результатами тестов LLM как для RK1820, так и для RK1828.
Показывает хорошую производительность на моделях LLM и VLM с 3B и 7B параметрами, от 59 до 180 токенов/с, с использованием моделей Qwen2.5, Qwen3, fastbvlm и internalVL3.
Radxa также поделилась дополнительными тестами , сравнивая результаты системы только на Rockchip RK3588 с системой с модулем-ускорителем LLM/VLM Rockchip RK1828.
В частности, использовались модели CNN, такие как Yolov5s и ResNet50, и преимущества использования RK1828 по сравнению с NPU на 6 TOPS в Rockchip RK3588 SoC не наблюдается. Таким образом, чипы RK182X не подходят для задач компьютерного зрения. Также были протестированы те же модели Qwen2.5 с 0.5B, 3B и 7B параметрами, что и у Firefly, с похожими результатами. Прямого сравнения с Rockchip RK3588 не проводилось, но ранее сообщалось о выпуске набора инструментов Rockchip RKLLM для ускорения больших языковых моделей на NPU в SoC RK3588, RK3588S и RK3576 в прошлом году, и Rockchip RK3588 мог достичь только около 14 токенов/с с моделью Qwen2 1.8B (W8A8). Квантования разные (W4A16 против W8A8), поэтому неясно, насколько можно сравнивать результаты, но RK1828 всё равно должен обеспечивать значительный прирост производительности для LLM и VLM.
Том Кьюби также предоставил дополнительные детали в комментариях . Rockchip не продаёт чипы напрямую, а предлагает SO-DIMM RK182X бизнес-клиентам. Также ведётся работа над модулем RK182x форм-фактора M.2 с дополнительным 12-вольтовым разъёмом питания, и для модулей SO-DIMM и M.2 требуется радиатор. Наконец, следующее поколение чипа LLM/VLM — Rockchip RK1860 — должно быть выпущено во II/III квартале 2026 года.
Набор для разработки RK182X с трёхмерной компоновкой памяти продаётся за $889 с модулем RK1820 и за $1029 с модулем RK1828, оба комплектуются SoM на RK3588 с 8 ГБ ОЗУ и 64 ГБ флеш-памяти. Не удалось найти модули SO-DIMM RK1820/RK1828 в продаже отдельно. Для справки: разница в цене между наборами RK1820 и RK1828 составляет $140, поэтому сами модули должны стоить несколько сотен долларов, если только наценка Firefly не очень высока, поскольку они первая компания, предлагающая эти модули.
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.