Модель DeepSeek R1 вышла несколько недель назад, и Брайан Реммеле заявил о её локальном запуске на Raspberry Pi со скоростью 200 токенов в секунду, пообещав выпустить образ для Raspberry Pi «как только все тесты завершатся». Он уточнил, что Raspberry Pi 5 использовал несколько HAT, включая акселератор Hailo AI, но это вся доступная на данный момент информация; предполагается, что применялась дистиллированная модель с 1,5 миллиардами параметров.
Джефф Герлинг провёл собственные тесты с DeepSeek-R1 (Qwen 14B), но только на ЦПУ со скоростью 1,4 токена/с; позже для повышения производительности он установил видеокарту AMD W7700. Другие разработали модели TinyZero на основе DeepSeekR1, оптимизированные для Raspberry Pi, но они специализированы для задач обратного отсчёта и умножения и также работают только на ЦПУ. Поэтому было приятно увидеть инструкции от Radxa по запуску DeepSeek R1 (Qwen2 1.5B) на НПУ — точнее, 6 TOPS NPU-акселераторе SoC Rockchip RK3588 — с использованием инструментария RKLLM .
Читать далее «DeepSeek работает на Rockchip RK3588 с ИИ-ускорением на скорости около 15 токенов/с»
