Firefly недавно представила кластерные серверы искусственного интеллекта серии CSB1-N10, предназначенные для таких приложений, как обработка естественного языка, робототехника и генерация изображений. Эти серверы 1U для монтажа в стойку идеально подходят для центров обработки данных, частных серверов и периферийных развертываний.
Серверы имеют несколько вычислительных узлов, оснащенных либо энергоэффективными процессорами (Rockchip RK3588, RK3576 или SOPHON BM1688), либо высокопроизводительными модулями NVIDIA Jetson (Orin Nano, Orin NX). Благодаря мощности искусственного интеллекта от 60 до 1000 TOPS серверы CSB1-N10 могут обрабатывать запросы больших моделей искусственного интеллекта, включая языковые модели, такие как Gemma-2B и Llama3, а также визуальные модели, такие как EfficientVIT и Stable Diffusion.
Технические характеристики серии CSB1-N10
| Функции |
CSB1-N10S1688
|
CSB1-N10R3588
|
CSB1-N10R3576
|
CSB1-N10NOrinNano
|
CSB1-N10NOrinNX
|
|---|---|---|---|---|---|
| SoC |
Восьмиядерный BM1688
|
Восьмиядерный RK3588
|
Восьмиядерный RK3576
|
Шестиядерный Jetson Orin Nano
|
Восьмиядерный Jetson Orin NX
|
| Частота |
1,6 ГГц
|
2,4 ГГц
|
2.2 ГГц
|
1,5 ГГц
|
2.0 ГГц
|
| Количество узлов |
10 узлов + 1 управляющий узел
|
||||
| Процессор узла управления |
RK3588, 2,4 ГГц
|
||||
| Вычислительная мощность ИИ (INT8) |
160 TOPS
|
60 TOPS
|
400 TOPS
|
1000 TOPS
|
|
| ОЗУ на вычислительный узел |
8 ГБ LPDDR4 (опционально до 16 ГБ)
|
16 ГБ LPDDR4 (опционально до 32 ГБ)
|
8 ГБ LPDDR4 (опционально до 16 ГБ)
|
8 ГБ LPDDR5
|
16 ГБ LPDDR5
|
| Хранилище на узел |
32 ГБ eMMC (опционально до 256 ГБ)
|
256 ГБ eMMC (опционально до 256 ГБ)
|
64 ГБ eMMC (опционально до 256 ГБ)
|
256 ГБ PCIe NVMe SSD
|
|
| Кодирование/декодирование видео |
160 каналов декодирования H.265/H.264 1080p@30fps, 100 каналов кодирования
|
10 каналов декодирования H.265 8K@30fps, 10 каналов кодирования
|
|||
| Расширение хранилища |
Слот для жесткого диска SATA 3.0/SSD
|
||||
| Ethernet |
2 × 10G Ethernet (SFP+)
2 × Gigabit Ethernet (RJ45) 1 × Gigabit Ethernet (RJ45, MGNT используется как сеть управления BMC) |
||||
| Консоль |
Консольный порт RJ45
|
||||
| Дисплей |
VGA до 1080p60
|
||||
| USB |
2 × USB3.0
|
||||
| Кнопка |
Сброс, UID, кнопка питания
|
||||
| Разное |
1 × RS232 (DB9, скорость передачи данных 115200)
1 × RS485 (DB9, скорость передачи данных 115200) |
||||
| Охлаждение |
6х высокоскоростных вентиляторов
|
||||
| Источник питания |
550 Вт (без возможности горячей замены)
|
||||
| Форм-фактор |
1U для монтажа в стойку
|
||||
| Физические размеры |
420×421,3×44,4 мм
|
||||
| Рабочая температура |
0°С ~ 45°С
|
||||
| Фреймворки глубокого обучения |
TensorFlow, PyTorch, PaddlePaddle, ONNX, Caffe
|
Фреймворки cuDNN: TensorFlow, PyTorch, MATLAB и т. д.
|
|||
| Поддержка больших моделей |
LLM на основе трансформаторов
|
LLaMa3, Phi-3 Mini и модели зрения
|
|||
Интерфейсы серверов кластера искусственного интеллекта серии CSB1-N10
Все серверы CSB1-N10 AI имеют одинаковые интерфейсы, и единственными отличиями являются ЦП, память, хранилище, мультимедиа, возможности искусственного интеллекта и поддержка соответствующего программного обеспечения. Так что, вероятно, Firefly сделала системы-на-модулях Rockchip совместимыми с форм-фактором NVIDIA Jetson SO-DIMM, и действительно, ранее мы отмечали, что Firefly разработала модули ЦП Core-1688JD4, Core-3576JD4 или Core-3588JD4 с SoC BM1688, RK3576 и RK3588, так что, скорее всего, они используются в серверах CSB1-N10.
С точки зрения программного обеспечения, кластерные серверы искусственного интеллекта серии CSB1-N10 оснащены системой BMC с Redfish, VNC, NTP и мониторингом для управления в реальном времени. Кроме того, они поддерживают такие фреймворки глубокого обучения, как TensorFlow, PyTorch, PaddlePaddle, ONNX и Caffe, с ускорением cuDNN для определенных моделей. Они также поддерживают контейнеры Docker, которые позволяют осуществлять частное развертывание больших моделей, таких как LLaMa3, Phi-3 Mini, EfficientVIT и Stable Diffusion. Обратите внимание, что записи в Wiki для серии CSB1-N10 все пустые, поэтому вы можете обратиться к документации по соответствующим модулям центрального процессора, упомянутым выше.
Ранее мы писали о различных кластерах и кластерных материнских платах, включая Lichee Cluster 4A mini-ITX, Mixtile Cluster Box и материнскую плату Turing Pi 2.5 mini-ITX, но решения, предоставляемые Firefly, более мощные и могут быть легко интегрированы в стойку.
Цена варьируется от 2,059.00$ за CSB1-N10R3576 до 14,709.00$ за высокопроизводительный CSB1-N10NOrinNX Computing Server с 1000 TOPS вычислительной мощности. Ссылки на покупку всех моделей доступны на странице продуктов, а дополнительную информацию вы также найдете в технических описаниях серверов Rockchip/SOPHGO и NVIDIA cluster.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.