Подберите подходящее оборудование для локального развёртывания LLM с помощью этого онлайн-руководства

При развёртывании локальных LLM многие могут полагать, что большие вложения гарантируют высокую производительность, но это далеко от реальности. Именно поэтому компания Sipeed создала онлайн-руководство по развёртыванию устройств для вывода локальных языковых моделей, размещённое на сайте llmdev.guide. Руководство по развёртыванию устройств для вывода локальных языковых моделей, размещённое на сайте llmdev.guide .

На сайте представлен перечень распространённого оборудования с указанием цены, производительности (токенов/с), энергопотребления и других параметров для различных LLM. Если взять в качестве примера Qwen3.5 9B, можно увидеть, что аппаратное обеспечение стоимостью свыше $4000, такое как NVIDIA DGX Spark или Apple Mac Studio M3 обеспечивает примерно такой же TPS, как и система с видеокартой Intel Arc B580 12GB за 260 долларов.

Читать далее «Подберите подходящее оборудование для локального развёртывания LLM с помощью этого онлайн-руководства»

ADLINK DLAP-701 – периферийная AI-платформа на базе NVIDIA Jetson T5000/T4000 для гуманоидных роботов и систем машинного зрения

ADLINK только что выпустила серию DLAP-701, компактную периферийную AI-платформу на базе NVIDIA Jetson T5000/T4000, разработанную для гуманоидных роботов, автономных мобильных роботов (AMR) и систем машинного зрения (VSS).

Она поддерживает до 128 ГБ памяти LPDDR5X и предлагает различные варианты ввода-вывода, включая два порта Gigabit Ethernet, порт QSFP с поддержкой 4×25GbE LAN, несколько портов USB 3.2 и выход HDMI, а также слоты M.2 для Wi-Fi 6, 5G и накопителей NVMe, а также слот mPCIe. Она также интегрирует интерфейсы CAN-FD для робототехники и управления транспортными средствами и безопасность TPM 2.0. С диапазоном рабочего напряжения 9-36 В постоянного тока и промышленным температурным диапазоном от -20°C до 60°C, она разработана для требовательных периферийных сред.

Читать далее «ADLINK DLAP-701 – периферийная AI-платформа на базе NVIDIA Jetson T5000/T4000 для гуманоидных роботов и систем машинного зрения»

Lanner EAI-I351 – Граничный ИИ-компьютер на базе NVIDIA Jetson Thor с портом 100GbE QSFP28 и 8 входами для камер GMSL2

Lanner EAI-I351 — это защищенный граничный ИИ-компьютер, построенный на платформе NVIDIA Jetson Thor, с портом 100GbE QSFP28 и 8 входами для камер GMSL2 для высокоскоростных сетевых подключений и обработки видео с малой задержкой.

Система поддерживает до 128 ГБ 256-битной памяти LPDDR5X, оснащена до четырьмя линиями 25GbE через порт QSFP28, портом 5GbE RJ45, HDMI 2.0, четырьмя портами USB 3.2 Gen1, двумя последовательными интерфейсами RS232/422/485 с опциональной поддержкой CANBus, цифровыми входами/выходами и аудиоинтерфейсами. Предусмотрены три слота расширения: M.2 M-Key для NVMe, M.2 E-Key для Wi-Fi/Bluetooth и M.2 B-Key для сотовой связи 4G LTE/5G с поддержкой двух Nano-SIM. Разработанный для промышленного применения, встраиваемый компьютер может работать в диапазоне температур от –25°C до 70°C и использует входное питание 24V/48V DC. Он предназначен для робототехники, интеллектуального производства и автономных систем, таких как коллаборативные роботы, AMR и автоматизация производства на основе машинного зрения.

Читать далее «Lanner EAI-I351 – Граничный ИИ-компьютер на базе NVIDIA Jetson Thor с портом 100GbE QSFP28 и 8 входами для камер GMSL2»

Auvidea X242 – промышленная плата-носитель NVIDIA Jetson Thor T5000 с двойным 10GbE, PCIe x16 и поддержкой камер CSI-2

Auvidea X242 представляет собой промышленную плату-носитель для модуля NVIDIA Jetson Thor T5000, предназначенную для применения в периферийных системах ИИ, робототехнике, компьютерном зрении и встраиваемых системах с высокой пропускной способностью, в основном для промышленных и высокопроизводительных коммерческих приложений.

Плата поддерживает два порта 10GbE, расширение через PCIe x16, накопители NVMe, 4G LTE/5G через слот M.2, вывод изображения на до четырех дисплеев через HDMI и DisplayPort Alt Mode по USB-C (rev 3), а также подключение нескольких камер через 16-линковый разъем CSI-2. Плата-носитель поддерживает широкий диапазон входного питания 24–48 В с режимами потребления мощности до 120 Вт. Промышленные функции включают управление горячей заменой, защиту от обратной полярности и перенапряжения, а также обратную совместимость с более ранними платформами Auvidea для Jetson.

Читать далее «Auvidea X242 – промышленная плата-носитель NVIDIA Jetson Thor T5000 с двойным 10GbE, PCIe x16 и поддержкой камер CSI-2»

Radxa C200 Orin Developer Kit — комплект разработчика на базе NVIDIA Jetson Orin NX 8GB с тремя слотами M.2 PCIe 4.0

Radxa C200 — это компактный набор разработчика, построенный на основе модуля NVIDIA Jetson Orin NX 8GB. Он оснащен тремя слотами PCIe 4.0 NVMe и обеспечивает производительность до 117 TOPS в «Super Mode» для искусственного интеллекта, что позволяет расширить высокоскоростное хранилище, использовать SSD для быстрой загрузки и работать с ресурсоемкими задачами ИИ.

Он поддерживает 8 ГБ памяти LPDDR5, два слота M.2 M-Key (PCIe 4.0 x2/x4) для NVMe-накопителей или другого расширения, а также слот M.2 E-key (PCIe 4.0 x1) для модулей Wi-Fi/BT или других совместимых модулей. Порты включают видеовыход DisplayPort 1.2, четыре порта USB 3.2 Gen2 Type-A, порт USB Type-C с режимом восстановления, Gigabit Ethernet, два интерфейса MIPI CSI и 40-контактный GPIO-заголовок. Дополнительные функции включают CAN-шину, заголовки для PoE, батарейку для часов реального времени (RTC) и коннектор для PWM-вентилятора, расширяя возможности интеграции системы.

Читать далее «Radxa C200 Orin Developer Kit — комплект разработчика на базе NVIDIA Jetson Orin NX 8GB с тремя слотами M.2 PCIe 4.0»

GIGABYTE AI TOP ATOM – настольный AI-суперкомпьютер NVIDIA GB10 с 1 петафлопс AI, 10GbE, 128 ГБ ОЗУ

GIGABYTE представила AI TOP ATOM, компактный настольный ИИ-суперкомпьютер с производительностью ИИ 1 петафлопс, который очень похож на NVIDIA DGX Spark . Это связано с тем, что он также построен на базе суперчипа NVIDIA Grace Blackwell GB10. Размещенный в корпусе объемом 1 литр, он предназначен для генеративного ИИ, больших языковых моделей и задач машинного обучения непосредственно на рабочем столе.

AI TOP ATOM оснащен 128 ГБ единой памяти LPDDR5x, поддерживает накопители PCIe Gen5 SSD объемом до 4 ТБ. Вычисления ИИ с производительностью 1000 TOPS (1 петафлопс) FP4 позволяют обрабатывать модели с до 200 миллиардами параметров или 405 миллиардами в двухсистемной конфигурации. Подключение включает сеть 10GbE, Wi-Fi 7, Bluetooth 5.3, HDMI 2.1a и несколько портов USB 3.2 Gen 2×2 Type-C.

Читать далее «GIGABYTE AI TOP ATOM – настольный AI-суперкомпьютер NVIDIA GB10 с 1 петафлопс AI, 10GbE, 128 ГБ ОЗУ»

$3499 Комплект для разработчиков NVIDIA Jetson AGX Thor оснащен модулем Jetson T5000 SoM с производительностью 2070 TOPS для робототехники и периферийного ИИ

NVIDIA представила настольное решение DGX Spark для разработки и прототипирования ИИ с производительностью до 1000 TOPS (FP4) несколько месяцев назад. Компания теперь анонсировала Jetson AGX Thor Developer Kit, который внешне похож, но предназначен для edge AI и робототехники с интерфейсами для камер и сенсоров.

Читать далее «$3499 Комплект для разработчиков NVIDIA Jetson AGX Thor оснащен модулем Jetson T5000 SoM с производительностью 2070 TOPS для робототехники и периферийного ИИ»

ПК Seeed reComputer J3010B Edge AI оснащен NVIDIA Jetson Orin Nano с производительностью ИИ до 67 TOPS

ПК reComputer J3010B Edge AI от Seeed Studio построен на базе модуля NVIDIA Jetson Orin Nano, который обеспечивает производительность ИИ до 67 TOPS (67 TOPS в супер-режиме), имеет до 8 ГБ памяти LPDDR5 и предустановленный твердотельный накопитель NVMe емкостью 128 ГБ для хранения данных.

Читать далее «ПК Seeed reComputer J3010B Edge AI оснащен NVIDIA Jetson Orin Nano с производительностью ИИ до 67 TOPS»