AI вывод раньше происходил исключительно на мощных серверах, размещенных в облаке, но в последние годы были предприняты большие усилия, чтобы продвинуть вывод на край, обычно это означает на устройстве, из-за гораздо меньшей задержки и улучшенной конфиденциальности.
Вывод на устройство работает, но, очевидно, производительность ограничена, и на устройствах с батарейным питанием также необходимо учитывать энергопотребление. Поэтому для некоторых приложений имеет смысл иметь локальный сервер с гораздо большей вычислительной мощностью, чем устройства, и с меньшей задержкой, чем в облаке. Это именно тот случай, когда сервер SolidRun Janux GS31 Edge AI вывода пытается использовать несколько процессоров NXP в сочетании с 128 ускорителями Gyrfalcon Lightspeeur SPR2803 AI
Характеристики сервера Janux GS31:
- Модуль CPU – модуль COMx CEx7 LX2160A с
- Процессором NXP LX2160A с 16-ью ядрами Arm Cortex A72 с тактовой частотой 2,0 ГГц
- Системная память – до 64 ГБ ОЗУ DDR4 через 2х разъема SO-DIMM
- «Видео» процессоры – до 32x NXP i.MX 8M Cortex-A53 SoC с 2D / 3D GPU, аппаратный видеодекодер с поддержкой 1080p60;
- AI-ускорители – до 128 Gyrfalcon Lightspeeur SPR2803 AI-ускорителей, обеспечивающих до 2150 TFLOPS (2,15 petaFLOPS) при 300 МГц
- Декодирование видео – до 128x 1080p60 потоков
- Сеть – 2x 10GbE SFP +, 1x Gigabit Ethernet (RJ45)
- USB – 2х порта USB Type-A, 1х порт micro USB
- Разное – PWM-выходы для 8х вентиляторов
- Источник питания
- Вход – 100 В ~ 240 В через разъем IEC60320
- Потребление – макс. 900 Вт (однофазный) или ~ 7 Вт на поток
- Размеры – 445 х 500 х 43,5 мм (стойка 1U)
- Температурный диапазон – рабочий: от 10 ° C до 35 ° C; хранение: от -40 ° C до -60 ° C
- Влажность – рабочая: от 20% до 80% относительная, без конденсации; хранение: от 20% до 93% относительно, без конденсации
Если мы посмотрим на блок-схему, представленную выше, то увидим, что сервер включает в себя до четырех модулей «Snowball», каждый из которых имеет восемь процессоров NXP i.MX8M, 32 ускорителя Gyrfalcon AI и одну FPAR PolarFire MPF200T, подключенную через коммутатор PCIe.
Сервер работает под управлением Linux, поддерживает платформы TensorFlow, Caffe и PyTorch, а также сети VGG, ResNet и MobileNet AI. Спецификации ясно дают понять, что сервер предназначен для вывода в реальном времени нескольких видеопотоков, а целевые приложения включают мониторинг интеллектуальных городов и инфраструктуры, интеллектуальное корпоративное / промышленное видеонаблюдение, обнаружение объектов, распознавание и классификацию, интеллектуальный визуальный анализ и многое другое.
SolidRun утверждает, что Janux GS31 достигает в три раза большей производительности, чем другие устройства, имеющиеся на рынке, при этом цена, размер и энергопотребление в половину меньше. Но, на данный момент, не предоставлено никаких цифр для сравнения.
Компания не предоставила информацию о доступности и ценах на сервер, но если вы заинтересованы, вы можете связаться с ними через страницу продукта. На момент написания обзора информация была ограничена.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.