NVIDIA представила ряд анонсов на ROSCon 2023, посвящённых робототехнике и embedded-системам. Ключевыми новостями стали генеративный ИИ на модуле NVIDIA Jetson Orin и выход Jetpack 6 SDK в следующем месяце (ноябрь 2023 г.). Этот SDK, как обычно, поддерживает Ubuntu, но также совместим с другими ОС и платформами: Debian, Yocto, Wind River, Redhawk RTOS и Balena .
Генеративный ИИ на NVIDIA Jetson Orin
Последний год сопровождался ажиотажем вокруг генеративного ИИ благодаря сервисам вроде ChatGPT, Google Bard или Microsoft Bing Chat. Однако они используют проприетарное ПО на мощных облачных серверах. Как отмечалось в статье про автономное LLM-решение «ИИ в коробке» , существуют открытые проекты (например, модель преобразования речи в текст Whisper и языковые модели Llama2), способные работать на периферийных embedded-устройствах. Но платформы на базе Rockchip RK3588S или Raspberry Pi 4, по замечаниям читателей, часто не обладают достаточной производительностью и объёмом памяти для практического применения генеративного ИИ, хотя некоторые платы RK3588 теперь оснащаются 32 ГБ ОЗУ .
Читать далее «Генеративный ИИ на NVIDIA Jetson Orin, Jetpack 6 SDK с поддержкой нескольких ОС»
