Модель DeepSeek R1 вышла несколько недель назад, и Брайан Реммеле заявил о её локальном запуске на Raspberry Pi со скоростью 200 токенов в секунду, пообещав выпустить образ для Raspberry Pi «как только все тесты завершатся». Он уточнил, что Raspberry Pi 5 использовал несколько HAT, включая акселератор Hailo AI, но это вся доступная на данный момент информация; предполагается, что применялась дистиллированная модель с 1,5 миллиардами параметров.
Джефф Герлинг провёл собственные тесты с DeepSeek-R1 (Qwen 14B), но только на ЦПУ со скоростью 1,4 токена/с; позже для повышения производительности он установил видеокарту AMD W7700. Другие разработали модели TinyZero на основе DeepSeekR1, оптимизированные для Raspberry Pi, но они специализированы для задач обратного отсчёта и умножения и также работают только на ЦПУ. Поэтому было приятно увидеть инструкции от Radxa по запуску DeepSeek R1 (Qwen2 1.5B) на НПУ — точнее, 6 TOPS NPU-акселераторе SoC Rockchip RK3588 — с использованием инструментария RKLLM .
Полная инструкция объясняет самостоятельную компиляцию модели, но для быстрой проверки Radxa предоставляет предварительно скомпилированный RKLLM из ModelScope, доступный по команде:
|
1
|
git clone https://www.modelscope.cn/radxa/DeepSeek-R1-Distill-Qwen-1.5B_RKLLM.git
|
Архив содержит четыре файла:
- configuration.json – конфигурационный файл
- librkllmrt.so – библиотека RKLLM
- llm_demo – демонстрационная программа
- DeepSeek-R1-Distill-Qwen-1.5B.rkllm (1.9GB) – DeepSeek R1 Qwen 1.5B, скомпилированный с RKLLM
- README.md
Запуск теста выполняется командой:
|
1
2
|
export RKLLM_LOG_LEVEL=1
./llm_demo DeepSeek–R1–Distill–Qwen–1.5B.rkllm 10000 10000
|
Radxa сообщает, что RK3588 выдаёт 14,93 токена/с для математического запроса
Решите уравнения x+y=12, 2x+4y=34, найдите значения x и y.
Тестирование проводилось на Radxa ROCK 5B . Лично я не проверял, так как плата сейчас недоступна… Метод должен работать на других платах с Rockchip RK3588/RK3588S и даже RK3576, поскольку они используют одинаковый НПУ. Banana Pi также опубликовала пост в X с видео работы DeepSeek R1 (Qwen 1.5B) на плате Banana Pi BPI-M7 (RK3588).
#DeepSeek идеально адаптирован и эффективно работает на #BananaPi BPI-M7 ( #Siger7 ) #Rockchip #RK3588 #SBC https://t.co/tlNXB2KjfN pic.twitter.com/W24zaW3OH5
— Banana pi Open Source Hardware (@sinovoip) 8 февраля 2025
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.