USB AI-ускоритель ASUS UGen300 оснащен AI-процессором Hailo-10H с производительностью 40 TOPS и 8 ГБ памяти LPDDR4 для поддержки больших языковых моделей (LLM), визуально-языковых моделей (VLM) и задач ИИ-зрения при энергопотреблении менее 2,5 Вт.
В некотором смысле аппаратное обеспечение похоже на Raspberry Pi AI HAT+ 2 , но в тонком форм-факторе донгла (105 x 50 x 18 мм) и с портом USB-C Type-C USB 3.2 Gen1 на 10 Гбит/с вместо интерфейса PCIe на 5 или 8 GT/s.
Характеристики ASUS UGen300 USB AI-ускорителя (UGen300-USB-8G):
- AI-ускоритель – Hailo Hailo-10H обеспечивая производительность инференса до 40 TOPS (INT4) или 20 TOPS (INT8)
- Память – 8 ГБ LPDDR4 @ 4266 МТ/с
- Интерфейс хоста – порт USB 3.1 Gen2 (10 Гбит/с) Type-C
- Питание – 5 В через порт USB-C
- Энергопотребление – 2,5 Вт (типичное)
- Размеры – 105 x 50 x 18 мм
- Вес – 145 граммов
ASUS сообщает, что USB-ускоритель ИИ работает с операционными системами Windows, Linux и Android на хостах x86 или Arm. Он поддерживает как модели компьютерного зрения, так и GenAI, включая более 150 предварительно обученных моделей, с использованием таких ИИ-фреймворков, как Keras, TensorFlow, TensorFlowLite, PyTorch и ONNX. Документация ASUS показывает, как установить HailoRT SDK на Ubuntu, и содержит учебные пособия по Python для LLM, VLM и преобразования речи в текст.
Как отмечалось в обзоре Raspberry Pi AI HAT+ 2 , Hailo-10H не обязательно будет ускорять рабочие нагрузки LLM, но поможет перенести работу на USB-адаптер, освобождая больше памяти и ресурсов CPU/GPU на хосте, и, возможно, сделает это с меньшим энергопотреблением. Так что в этом отношении он должен быть скорее разгрузчиком LLM, чем ускорителем. Однако он ускорит рабочие нагрузки ИИ-зрения и может также несколько повысить производительность при работе с VLM.
Несколько месяцев назад компания ASUS представила USB AI-ускоритель UGen300, но в открытую продажу он поступил только недавно, и компания предлагает этот USB-адаптер. за $299.99 в его онлайн-магазине или на Newegg . Последний также указывает модуль ASUS UGen300 M.2 Hailo-10H с 8GB за $259.99, а вариант с 2GB RAM находится в разработке, но в настоящее время не продается.
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.