Было интересно протестировать искусственный интеллект (ИИ) и, в частности, большие языковые модели (LLM) на Rockchip RK3588, чтобы понять, как можно использовать GPU и NPU для их ускорения и каких показателей производительности ожидать. Мы читали, что LLM могут быть требовательны к вычислительным ресурсам и памяти, поэтому искали одноплатный компьютер (SBC) на Rockchip RK3588 с 32 ГБ ОЗУ, и Mixtile – компания, разрабатывающая аппаратные решения для различных применений, включая IoT, ИИ и промышленные шлюзы, любезно предоставила образец своего Mixtile Blade 3 pico-ITX SBC с 32 ГБ RAM для этих целей.
Хотя обзор фокусируется на использовании RKNPU2 SDK с примерами компьютерного зрения, работающими на 6 TOPS NPU, и тестировании GPU-ускоренной LLM (поскольку реализация NPU еще не готова), мы также провели распаковку для осмотра аппаратной части и краткое руководство по запуску Ubuntu 22.04 на Mixtile Blade 3.
Читать далее «Тестирование ИИ и LLM на Rockchip RK3588 с использованием одноплатного компьютера Mixtile Blade 3 с 32 ГБ ОЗУ»
