Fogwise AIRbox Q900 – $599 Блок ИИ Qualcomm IQ-9075 обеспечивает до 200 TOPS производительности ИИ

Radxa заявляет, что её новый микросервер ИИ напрямую конкурирует с NVIDIA Jetson Orin NX 16GB , предлагая более низкую общую стоимость системы, схожую производительность и повышенную эффективность. Другие преимущества включают реальные ядра Cortex-R52, сеть 2.5GbE, а также раздельные GPU, NPU и DSP.

Характеристики Fogwise AIRBox Q900:

• SoC – Qualcomm DragonWing IQ-9075
  • ЦП
    • Восьмиядерные прикладные ядра Kryo Gen 6 (на базе Cortex-A78C) с частотой до 2.36 ГГц
    • Четырехъядерные реальные ядра Cortex-R52 с частотой до 1.85 ГГц
  • ГП – Adreno 663 GPU с производительностью до 1.2 TFLOPS FP32 и безопасными вычислениями на GPU; поддерживает Vulkan 1.2, OpenGL ES 3.2, OpenCL 2.0 FP, Adreno NN Direct
  • ВП – Adreno VPU 765
    • Декодирование видео
      • AV1 / HEVC / H.265 / H.264 / VP9 / MPEG-2
      • 1x 8Kp60 / 2x 8Kp30 / 4x 4Kp60 / 8x 4Kp30 / 16x 1080p60 / 32x 1080p30
    • Кодирование видео:
      • H.264 / H.265 / HEIF / HEIC
      • 2x 4Kp60 / 4x 4Kp30 / 8x 1080p60 / 16x 1080p30
    • Одновременное кодирование 2x 4Kp60 + декодирование 2x 4Kp60
  • НП
    • 200 TOPS @ INT8 (разреженная вычислительная мощность)
    • Hexagon Tensor Processor (HTP) с квадро-HVX и дуальным-HMX
    • Поддерживает фреймворки глубокого обучения: TensorFlow, PyTorch, ONNX, Paddle, Caffe, DarkNet и др.
• Системная память – 36 ГБ LPDDR5 96-бит @ 6400 МТ/с (с поддержкой ECC)
• Накопители
  • 32 МБ SPI Flash
  • Разъем UFS & eMMC
  • 128 ГБ UFS 3.1 (Gear4 x2)
  • Слот M.2 M Key (PCIe Gen4 x4)
• Видеовыход – Порт HDMI 2.0 до 4Kp60
• Сетевые возможности
  • 2 порта 2.5GbE RJ45 с TSN
  • Wi-Fi 6 / BT 5.4 через слот mini PCIe
  • Сотовая связь 4G / 5G через слот mini PCIe + слот Nano SIM
  • До 3 внешних антенн
• USB
  • Порт USB 3.1 Gen2 Type-A
  • Порт USB 3.1 Gen2 OTG Type-A
  • Последовательный консольный порт USB Type-C
• Прочее
  • Кнопки питания и EDL
  • Разъем вентилятора с ШИМ (встроенный вентилятор с ШИМ)
  • Разъем батареи RTC
• Блок питания – 12В / 5.4А постоянного тока через разъем 5.5 x 2.5 мм
• Габариты – 104 x 84 x 45 мм (корпус из алюминиевого сплава)
• Температурный диапазон – 0°C ~ 60°C

Radxa упоминает поддержку Ubuntu и Yocto Linux, а также TensorFlow, PyTorch, ONNX и других фреймворков ИИ. Устройство может локально запускать GPT, LLaMa и Stable Diffusion. Оно по-прежнему полагается на CasaOS для простого развертывания, как и оригинальный Fogwise Airbox . С точки зрения производительности, вывод LlaMA-7B занимает 0.6 секунд для первого токена, а затем ускоряется до примерно 12 токенов в секунду. Более подробная информация доступна в анонсе , поскольку сайт документации пока не запущен на момент написания этого поста.

Компания также предоставляет краткое сравнение микросервера AIRbox Q900 и модуля NVIDIA Orin NX 16GB:

• Цена – Схожий диапазон, но Q900 дешевле — Q900 представляет собой готовую систему стоимостью $600, тогда как только модуль Orin NX 16GB стоит $600.
• Память – Q900 имеет 36 ГБ, а Orin NX — 16 ГБ. Однако модуль NVIDIA имеет более высокую пропускную способность памяти: Q900 78 ГБ/с против Orin NX 100 ГБ/с (выше).
• Накопитель – Q900 включает 128 ГБ устройство UFS для ОС, тогда как Orin NX требует внешний SSD.
• Производительность ИИ – 200 TOPS (разреженных) для Q900 против 157 TOPS для Orin NX (с включенным супер-режимом ).
• GPU/NPU – GPU Q900 независим и не разделяет производительность с NPU, тогда как GPU Orin NX делит вычисления в пределах своих 157 TOPS.
• Реальные ядра – SoC IQ-9075 имеет 4 ядра Arm Cortex-R52 для задач реального времени.
• DSP – IQ-9075 включает выделенный аудио DSP и универсальные DSP, обеспечивая параллельные рабочие нагрузки.
• Сети – Q900 поддерживает 2.5G TSN нативно, тогда как Orin NX требует дополнительного расширения.
• Видеокодек – Q900 обеспечивает значительно более высокую производительность кодирования/декодирования — как минимум вдвое выше, чем у Orin NX 16 ГБ.
• Потребляемая мощность – Q900 работает при мощности менее 20 Вт в нормальном режиме, тогда как Orin NX 16GB требует 45 Вт для достижения 157 TOPS производительности. Когда режим питания установлен на 25 Вт, он может достигать около 100 TOPS.

Один момент, не указанный выше, заключается в том, что модуль NVIDIA может быть лучше для робототехники, поскольку он поддерживает ряд GPIO и интерфейсов MIPI CSI, которые отсутствуют в устройстве Qualcomm IQ9.

Микросервер ИИ Fogwise AIRBox Q900 можно приобрести сейчас за $599 на Arace . Дополнительные детали также можно найти на странице продукта .

Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.

Оригинал статьи вы можете прочитать здесь.