Hailo-10 — это новый модуль M.2 Key-M, который расширяет возможности генеративного искусственного интеллекта, обеспечивая производительность до 40 TOPS при малом энергопотреблении. В настоящее время он нацелен на компьютеры с искусственным интеллектом, поддерживающие только операционную систему Windows 11 на платформах x86 или Aarch64.
Hailo утверждает, что Hailo-10 быстрее и более энергоэффективен, чем решения со встроенным нейронным процессором (NPU), присутствующие в процессорах Intel SoC, и обеспечивает как минимум вдвое большую производительность при вдвое меньшей мощности, чем NPU Intel Core Ultra «AI Boost».
Технические характеристики модуля Hailo-10:
- Ускоритель искусственного интеллекта — Hailo-10H
- Системная память — 8 ГБ LPDDR4 на модуле
- Хост-интерфейс — 4-канальный PCIe Gen 3
- Потребляемая мощность — менее 3,5 Вт (типовая) для чипа.
- Форм-фактор – M.2 Key M 2242/2280
- Поддерживаемые платформы искусственного интеллекта — TensorFlow, TensorFlow Lite, Keras, PyTorch и ONNX.
Hailo-10 может запускать Llama2-7B со скоростью до 10 токенов в секунду (TPS) при мощности менее 5 Вт, а также генерировать одно изображение из текста менее чем за 5 секунд с использованием Stable Diffusion 2.1 при той же мощности. Как и многие другие технологии, генеративный искусственный интеллект перемещается из облака на само устройство, обеспечивая меньшую задержку и автономную поддержку.
Эволюция периферийного ИИ от дискриминационного ИИ к генеративному ИИ – Источник: блог Hailo
Hailo-10 поддерживается пакетом программного обеспечения для искусственного интеллекта, как и его предшественники ( Hailo-8 и Hailo-15), с компилятором потоков данных, зоопарком моделей в форматах TensorFlow и ONNX, предварительно обученным приложением Hailo TAPPAS для искусственного интеллекта, программным обеспечением среды выполнения HailoRT для хост-процессора и прошивки Hailo-10H.
Модули M.2 на базе Hailo-10H можно подключать к существующим ПК и периферийным устройствам с помощью запасного разъема M.2 PCIe, чтобы добавить возможности генеративного искусственного интеллекта. Компания заявляет, что модули ускорителя искусственного интеллекта Hailo-10 первоначально будут предназначены для ПК и автомобильных информационно-развлекательных систем для обеспечения работы встроенных в устройства чат-ботов, вторых пилотов, личных помощников и операционных систем с речевым управлением. Это второй чип генеративного искусственного интеллекта для периферии, который мы рассмотрели в CNX Software: в январе 2024 года была представлена Ambarella N1 SoC, объединяющая 16 ядер Arm Cortex-A78AE и ускоритель искусственного интеллекта в одном чипе.
Компания заявляет, что начнет поставки образцов ускорителя Hailo-10 GenAI во втором квартале 2024 года. Предыдущий ускоритель искусственного интеллекта Hailo-8 нашел свое применение во многих системах от различных производителей встраиваемых ПК, но Hailo-10 также подойдет для потребительских устройств. Может пройти некоторое время, прежде чем оно станет более доступным, как, например, Hailo-15 был впервые представлен в марте 2023 года, но первое коммерческое устройство, SoliRun Hailo-15 SoM, было анонсировано всего несколько дней назад. Дополнительную информацию, включая краткое описание продукта, можно найти на странице продукта.
Выражаем свою благодарность источнику с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.