На днях компания EdgeCortix анонсировала свой ускоритель искусственного интеллекта SAKURA-II Edge с архитектурой Dynamic Neural Accelerator (DNA) второго поколения, обеспечивающий производительность до 60 TOPS (INT8) при мощности 8 Вт и подходящий для выполнения сложных генеративных задач искусственного интеллекта, таких как большие языковые модели (LLM), большие зрительные модели (LVM) и мультимодальные приложения на основе трансформаторов на периферии.
Помимо самого ускорителя искусственного интеллекта, компания разработала ряд модулей M.2 и карт PCIe с одним или двумя чипами SAKURA-II, обеспечивающими производительность до 120 TOPS с INT8 и 60 TFLOPS BF16, чтобы обеспечить генеративный искусственный интеллект на устаревшем оборудовании с запасным разъемом M.2 2280 или слотом PCIe x8/x16.
SAKURA-II Edge ИИ-ускоритель
Основные характеристики SAKURA-II:
- Механизм нейронной обработки — архитектура Dynamic Neural Accelerator (DNA) второго поколения DNA-II.
- Производительность
- 60 TOPS (INT8)
- 30 TFLOPS (BF16)
- DRAM — двойной 64-битный LPDDR4x (8 ГБ, 16 ГБ или 32 ГБ на плате)
- Пропускная способность DRAM – 68 ГБ/сек.
- Встроенная SRAM – 20 МБ
- Эффективность вычислений: загрузка до 90 %.
- Потребляемая мощность – 8 Вт (типовая)
- Корпус – BGA 19 x 19 мм.
- Диапазон температур – от -40°C до 85°C.
Некоторые модели Transformer и Convolutional поддерживаются SAKURA-II.
Платформа SAKURA-II программируется с помощью пакета программного обеспечения MERA, включающего гетерогенную платформу компилятора, расширенные возможности квантования и калибровки модели. Программный пакет изначально поддерживает такие среды разработки, как PyTorch, TensorFlow Lite и ONNX. Он также интегрируется с библиотекой моделей MERA и взаимодействует с Hugging Face Optimum, предлагая широкий спектр новейших моделей трансформаторов, таких как Llama-2 или Stable Diffusion, и сверточных моделей, таких как Yolo V8.
Основная схема рабочего процесса
Обзор компилятора MERA и программной среды
SAKURA-II M.2 и ускорители PCIe
EdgeCortix может предоставить SAKURA-II как автономное устройство, как описано выше, но компания также работает над двумя модулями M.2 с одним чипом и емкостью DRAM 8 или 16 ГБ, а также над одно- и двухкомпонентными низкопрофильными PCIe-картами.
SAKURA-II M.2 и PCIe Edge AI-ускорители
Ключевые особенности модулей M.2 SAKURA-II:
- DRAM
- 8 ГБ (2х банка по 4 ГБ LPDDR4) ИЛИ
- 16 ГБ (2х банка по 8 ГБ LPDDR4)
- Хост-интерфейс — PCIe Gen 3.0 x4
- Пиковая производительность — 60 TOPS с INT8, 30 TFLOPS с BF16.
- Мощность модуля – 10 Вт (типовая)
- Размеры — модуль M.2 Key M 2280 (22 x 80 мм)
Модели с 8 ГБ и 16 ГБ имеют одинаковую производительность и типовое энергопотребление, поэтому выбор одной из них – это всего лишь пример того, подходит ли модель для 8-гигабайтной оперативной памяти или требуется больше.
Характеристики карт PCIe:
- Хост-интерфейс — PCIe Gen 3.0 x8
- Однокристальная модель
- Память DRAM — 16 ГБ (2х банка по 8 ГБ LPDDR4)
- Пиковая производительность — 60 TOPS с INT8, 30 TFLOPS с BF16.
- Мощность карты — 10 Вт (типовая)
- Двухчиповая модель
- Память DRAM — 32 ГБ (2х банка по 16 ГБ LPDDR4)
- Пиковая производительность — 120 TOPS с INT8, 60 TFLOPS с BF16.
- Мощность карты — 20 Вт (типовая)
- Форм-фактор — низкопрофильный PCIe, один слот
- Входящие в комплект аксессуары — кронштейны половинной и полной высоты, а также активный или пассивный радиатор.
EdgeCortix принимает предварительные заказы на модули M.2 и карты PCIe с поставкой во втором полугодии 2024 года по следующим ценам:
- М.2 8 ГБ — 249 долларов США
- М.2 16 ГБ — 299 долларов США
- Одиночный PCIe — 429 долларов США
- Двойной PCIe — 749 долларов США
Мы видим все больше и больше AI-ускорителей M.2 и PCIe Edge, наиболее популярными (по данным новостей) являются модули Google Coral Edge TPU , Intel Myriad X и Hailo-8. Есть и другие, такие как модуль Axelera AI, заявленные характеристики которого на бумаге выглядят наиболее впечатляющими, но сравнивать разные ускорители всегда сложно из-за отсутствия стандартизированного теста.
Поскольку производители полупроводников сейчас интегрируют мощные ускорители искусственного интеллекта в SoC, в том числе новые от Intel и AMD, неясно, будет ли этот тип ускорителей искусственного интеллекта иметь долгую жизнь, за исключением того, что их можно будет комбинировать с процессорами низкого уровня. Время покажет.
Более подробную информацию о чипе и модуле SAKURA-II вы найдете на странице продукта и в пресс-релизе.
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.