NVIDIA представила ряд анонсов на ROSCon 2023, посвящённых робототехнике и embedded-системам. Ключевыми новостями стали генеративный ИИ на модуле NVIDIA Jetson Orin и выход Jetpack 6 SDK в следующем месяце (ноябрь 2023 г.). Этот SDK, как обычно, поддерживает Ubuntu, но также совместим с другими ОС и платформами: Debian, Yocto, Wind River, Redhawk RTOS и Balena .
Генеративный ИИ на NVIDIA Jetson Orin
Последний год сопровождался ажиотажем вокруг генеративного ИИ благодаря сервисам вроде ChatGPT, Google Bard или Microsoft Bing Chat. Однако они используют проприетарное ПО на мощных облачных серверах. Как отмечалось в статье про автономное LLM-решение «ИИ в коробке» , существуют открытые проекты (например, модель преобразования речи в текст Whisper и языковые модели Llama2), способные работать на периферийных embedded-устройствах. Но платформы на базе Rockchip RK3588S или Raspberry Pi 4, по замечаниям читателей, часто не обладают достаточной производительностью и объёмом памяти для практического применения генеративного ИИ, хотя некоторые платы RK3588 теперь оснащаются 32 ГБ ОЗУ .
Платформа NVIDIA Jetson AGX Orin представляет собой более мощный embedded-компьютер для ИИ: до 12 ядер Cortex-A78AE, комбинация мощного GPU с ИИ-ускорителями (до 275 TOPS) и до 64 ГБ ОЗУ. Это делает её пригодной для генеративного ИИ, заменяющего устаревшие, менее гибкие CNN (свёрточные нейронные сети).
Разработка моделей CNN трудоёмка, так как требует больших объёмов обучающих данных, а их функционал жёстко фиксирован без способности к самообучению. Генеративный ИИ не нуждается в дополнительном обучении (NVIDIA называет это «обучением без примеров»), а его модели могут распознавать объекты, ранее не встречавшиеся в данных.
Он также предоставляет языковой интерфейс: вместо рамок вокруг объектов чат-бот отвечает на запросы вроде «Сколько коробок распаковано за последний час?» или «Сколько коробок в минуду выгружает рабочий в оранжевом жилете?». Таким образом, генеративный ИИ — более мощное и практичное решение, способное вытеснить CNN на платформах с достаточными ресурсами.
NVIDIA провела сравнительное тестирование генеративного ИИ на Jetson Orin и сервере с Intel Xeon Platinum 8480+ (56 ядер, 112 потоков @ 3.80 ГГц, TDP 350 Вт). Испытывались большие языковые модели (LLM), языково-визуальные модели, трансформеры для зрения и стабильная диффузия. Результат: NVIDIA Orin показал производительность в 1.7 раза выше системы на Xeon. Предположительно, Orin работал в высокопроизводительном режиме (60 Вт).
Площадка NVIDIA Jetson Generative AI Lab предлагает инструменты и руководства для развёртывания открытых LLM (например, llama2), диффузионных моделей (генерация изображений из текста), языково-визуальных моделей (VLM) и трансформеров для зрения (ViT), объединяющих компьютерное зрение и NLP для интерактивного описания сцен через чат-бот. Дополнительно разработчики могут использовать TAO Toolkit для создания edge-ориентированных моделей ИИ с минимальным кодированием (low-code платформа) и оптимизации моделей компьютерного зрения, включая ViT.
Jetpack 6 SDK
Промышленный релиз NVIDIA Jetpack 5.0.2 вышел в ноябре прошлого года с Ubuntu 20.04 и поддержкой Jetson Orin. Jetpack 6 SDK ожидается в следующем месяце с поддержкой оптимизированной и сертифицированной Ubuntu (версия не уточняется), а впервые — других ОС: Wind River Linux, Redhawk Linux от Concurrent Real и дистрибутивов на базе Yocto.
По заявлению NVIDIA, переход на Jetpack 6 SDK не потребует от разработчиков ИИ полного обновления Jetson Linux, что упростит и ускорит процесс. Детали пока ограничены, но на представленной диаграмме отмечены новые системные сервисы (IoT Edge Stack, Diagnostics, Fleet management) и усиленная безопасность (безопасная загрузка, шифрование памяти). Подробности будут раскрыты при релизе.
Дополнительная информация о генеративном ИИ и новом JetPack SDK доступна в соответствующем посте блога на сайте NVIDIA. Компания также выпустила NVIDIA Isaac ROS 2.0 и NVIDIA Isaac Sim 2023.1 для робототехнических приложений.
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.