AI вывод раньше происходил исключительно на мощных серверах, размещенных в облаке, но в последние годы были предприняты большие усилия, чтобы продвинуть вывод на край, обычно это означает на устройстве, из-за гораздо меньшей задержки и улучшенной конфиденциальности.
Вывод на устройство работает, но, очевидно, производительность ограничена, и на устройствах с батарейным питанием также необходимо учитывать энергопотребление. Поэтому для некоторых приложений имеет смысл иметь локальный сервер с гораздо большей вычислительной мощностью, чем устройства, и с меньшей задержкой, чем в облаке. Это именно тот случай, когда сервер SolidRun Janux GS31 Edge AI вывода пытается использовать несколько процессоров NXP в сочетании с 128 ускорителями Gyrfalcon Lightspeeur SPR2803 AI
Характеристики сервера Janux GS31:
- Модуль CPU — модуль COMx CEx7 LX2160A с
- Процессором NXP LX2160A с 16-ью ядрами Arm Cortex A72 с тактовой частотой 2,0 ГГц
- Системная память — до 64 ГБ ОЗУ DDR4 через 2х разъема SO-DIMM
- «Видео» процессоры — до 32x NXP i.MX 8M Cortex-A53 SoC с 2D / 3D GPU, аппаратный видеодекодер с поддержкой 1080p60;
- AI-ускорители — до 128 Gyrfalcon Lightspeeur SPR2803 AI-ускорителей, обеспечивающих до 2150 TFLOPS (2,15 petaFLOPS) при 300 МГц
- Декодирование видео — до 128x 1080p60 потоков
- Сеть — 2x 10GbE SFP +, 1x Gigabit Ethernet (RJ45)
- USB — 2х порта USB Type-A, 1х порт micro USB
- Разное — PWM-выходы для 8х вентиляторов
- Источник питания
- Вход — 100 В ~ 240 В через разъем IEC60320
- Потребление — макс. 900 Вт (однофазный) или ~ 7 Вт на поток
- Размеры — 445 х 500 х 43,5 мм (стойка 1U)
- Температурный диапазон — рабочий: от 10 ° C до 35 ° C; хранение: от -40 ° C до -60 ° C
- Влажность — рабочая: от 20% до 80% относительная, без конденсации; хранение: от 20% до 93% относительно, без конденсации
Если мы посмотрим на блок-схему, представленную выше, то увидим, что сервер включает в себя до четырех модулей «Snowball», каждый из которых имеет восемь процессоров NXP i.MX8M, 32 ускорителя Gyrfalcon AI и одну FPAR PolarFire MPF200T, подключенную через коммутатор PCIe.
Сервер работает под управлением Linux, поддерживает платформы TensorFlow, Caffe и PyTorch, а также сети VGG, ResNet и MobileNet AI. Спецификации ясно дают понять, что сервер предназначен для вывода в реальном времени нескольких видеопотоков, а целевые приложения включают мониторинг интеллектуальных городов и инфраструктуры, интеллектуальное корпоративное / промышленное видеонаблюдение, обнаружение объектов, распознавание и классификацию, интеллектуальный визуальный анализ и многое другое.
SolidRun утверждает, что Janux GS31 достигает в три раза большей производительности, чем другие устройства, имеющиеся на рынке, при этом цена, размер и энергопотребление в половину меньше. Но, на данный момент, не предоставлено никаких цифр для сравнения.
Компания не предоставила информацию о доступности и ценах на сервер, но если вы заинтересованы, вы можете связаться с ними через страницу продукта. На момент написания обзора информация была ограничена.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.