NVIDIA Jetson Orin Nano Super Developer Kit — это обновленная версия Jetson Orin Nano Developer Kit с производительностью генеративного искусственного интеллекта в 1,7 раза выше, производительность на 70% выше до 67 INT8 TOPS и примерно вдвое ниже по цене, что делает его отличной платформой для разработки генеративного искусственного интеллекта на периферии, в основном в робототехнике.
За последний год мы увидели несколько коробок и плат искусственного интеллекта, способных выполнять офлайн-генеративные приложения искусственного интеллекта, такие как материнская плата Firefly AIO-1684XQ или Radxa Fogwise Airbox, которые мы рассматривали с Llama3, Stable diffusion, Imgsearch и т. д. Такой продукт, как Fogwise Airbox, обеспечивает до 32 TOPS (INT8) и продается примерно за 330$, что было очень конкурентоспособно на момент выпуска (июнь 2024 г.). Однако комплект разработчика Jetson Orin Nano Super Developer Kit, безусловно, произведет фурор на рынке благодаря более чем вдвое большей производительности, более низкой цене и значительному сообществу разработчиков.
Технические характеристики NVIDIA Jetson Orin Nano Super:
- Модуль NVIDIA Jetson Orin Nano 8 ГБ
- Процессор – 6-ядерный 64-битный процессор Arm Cortex-A78AE v8.2 с тактовой частотой 1,7 ГГц и 1,5 МБ L2 + 4 МБ L3
- Графический процессор – архитектура NVIDIA Ampere 1020 МГц с 1024 ядрами CUDA и 32 тензорными ядрами
- Видеокодирование – 1080p30 поддерживается 1-2 ядрами ЦП
- Видео декодирование
- 1x 4K60 (H.265)
- 2x 4K30 (H.265)
- 5x 1080p60 (H.265)
- 11x 1080p30 (H.265)
- Память – 8 ГБ 128-бит LPDDR5 ( 102 ГБ/с )
- Хранилище – интерфейсы для SD-карт и NVMe SSD на несущей плате
- Производительность искусственного интеллекта – 67 TOPS (Sparse), 33 TOPS (Dense)
- Режимы мощности – 7 Вт, 15 или 25 Вт
- Хранилище
- Слот для microSD
- 2x разъема M.2 для NVMe SSD (см. раздел «Расширение»)
- Интерфейс дисплея – разъем DisplayPort 1.2 (+MST)
- Интерфейсы камеры – 2x 22-контактных разъема камеры MIPI CSI-2
- Подключение к сети
- Gigabit Ethernet-порт RJ45
- Опционально WiFi и Bluetooth через слот M.2 Key-E
- USB
- 4х порта USB 3.2 Gen2 Type-A
- Порт USB Type-C для UFP ( входной порт )
- Расширение
- Слот M.2 Key M с PCIe Gen3 x4
- Слот M.2 Key M с PCIe Gen3 x2
- Слот M.2 Key E
- 40-контактный разъем расширения GPIO с UART, SPI, I2S, I2C и т. д.
- Разное
- 12-контактный разъем кнопки
- 4-контактный разъем для вентилятора
- Источник питания – разъем питания постоянного тока
- Размеры – 103 x 90,5 x 34,77 мм (с ножками, несущей платой, модулем и тепловым решением)
Выделенные жирным шрифтом моменты показывают, что комплект в основном такой же, как и оригинальный комплект разработчика Jetson Nano Orin. Однако частота ЦП теперь повышена до 1,7 ГГц (вместо 1,5 ГГц), ГП работает на частоте 1050 МГц (против 635 МГц), пропускная способность памяти значительно выше (с 68 ГБ/с до 102 ГБ/с), и они добавили режим питания 25 Вт, все это объясняет дополнительную производительность. Размеры тоже отличаются, но, возможно, это из-за разных условий измерения.
Самое удивительное, что NVIDIA утверждает, что все эти улучшения производительности — это всего лишь обновления программного обеспечения, поэтому оригинальный комплект разработчика NVIDIA также может получить выгоду от 1,7-кратного прироста производительности генеративного ИИ для моделей LLM (Large Language Model), LVM (Large Vision Model) и ViTs (Vision Transformers).
Дополнительная производительность будет доступна для модулей NVIDIA Jetson Orin NX и Nano, при этом Nano 4 ГБ достигает 34 TOPS, Nano 8 ГБ — 67 TOPS, NX 8 ГБ — 117 TOPS и NX 16 ГБ — 157 TOPS. Для обновления программного обеспечения вам необходимо получить JetPack 6.1 с поддержкой повышенной производительности с помощью SDK Manager (выберите JetPack 6.1 (rev. 1)) и изменить режим питания на MAXN следующим образом:
| sudo nvpmodel -m 2 |
Поддержка программного обеспечения остается прежней с программным стеком NVIDIA AI, включая NVIDIA Isaac для робототехники, NVIDIA Metropolis для ИИ-зрения и NVIDIA Holoscan для обработки датчиков. Компания также утверждает, что разработчики могут значительно сэкономить время с NVIDIA Omniverse Replicator для синтетической генерации данных (SDG) и NVIDIA TAO Toolkit для тонкой настройки предварительно обученных моделей ИИ из каталога NVIDIA NGC.
Производительность генерации LLM в токенах в секунду с квантованием INT4 с использованием API MLC.
Если у вас еще нет NVIDIA Jetson Orin Nano, вы можете приобрести модель «Super» за 249$ на Seeed Studio, Arrow или Sparkfun, если она еще есть в наличии. NVIDIA не упомянула цены на модули, например, для массового производства, но я сомневаюсь, что они также снизили цены таким же образом, как и на комплект разработчика. NVIDIA Jetson Orin Nano, вероятно, является спонсируемым продуктом для разработчиков. Дополнительную информацию можно найти на странице продукта .
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.