Существует множество модулей M.2 AI на основе таких ускорителей, как Hailo-8 , MemryX MX3 или Axelera AI, но модуль Geniatech AIM M2 основан на ускорителе ИИ Kinara Ara-2 40 TOPS, о котором мы еще не рассказывали здесь, на CNX Software.
Читать далее «Модуль Geniatech AIM M2 оснащен ускорителем искусственного интеллекта Kinara Ara-2 40 TOPS»DeepSeek работает на Rockchip RK3588 с ИИ-ускорением на скорости около 15 токенов/с
Модель DeepSeek R1 вышла несколько недель назад, и Брайан Реммеле заявил о её локальном запуске на Raspberry Pi со скоростью 200 токенов в секунду, пообещав выпустить образ для Raspberry Pi «как только все тесты завершатся». Он уточнил, что Raspberry Pi 5 использовал несколько HAT, включая акселератор Hailo AI, но это вся доступная на данный момент информация; предполагается, что применялась дистиллированная модель с 1,5 миллиардами параметров.
Джефф Герлинг провёл собственные тесты с DeepSeek-R1 (Qwen 14B), но только на ЦПУ со скоростью 1,4 токена/с; позже для повышения производительности он установил видеокарту AMD W7700. Другие разработали модели TinyZero на основе DeepSeekR1, оптимизированные для Raspberry Pi, но они специализированы для задач обратного отсчёта и умножения и также работают только на ЦПУ. Поэтому было приятно увидеть инструкции от Radxa по запуску DeepSeek R1 (Qwen2 1.5B) на НПУ — точнее, 6 TOPS NPU-акселераторе SoC Rockchip RK3588 — с использованием инструментария RKLLM .
Читать далее «DeepSeek работает на Rockchip RK3588 с ИИ-ускорением на скорости около 15 токенов/с»
EQSP32 — это промышленный контроллер Интернета вещей без кода и припоя, работающий на базе помощника по программированию с генеративным искусственным интеллектом. (Краудфандинг).
Контроллер EQSP32 — это комплексное решение для приложений Интернета вещей, которое недавно было запущено на Kickstarter. Это компактный беспроводной промышленный IoT-контроллер на базе беспроводной ESP32-S3 SoC с двухъядерным процессором 250 МГц, 512 КБ оперативной памяти и 8 МБ флэш-памяти. В продукте используется искусственный интеллект, а код для проектов автоматизации может генерироваться автоматически с помощью встроенного помощника по программированию с генеративным искусственным интеллектом.
Читать далее «EQSP32 — это промышленный контроллер Интернета вещей без кода и припоя, работающий на базе помощника по программированию с генеративным искусственным интеллектом. (Краудфандинг).»MediaTek снизила показатели эффективности мобильного процессора Dimensity 9300 Cortex-X4/A720
MediaTek Dimensity 9300 — то восьмиядерный мобильный SoC премиум-класса 5G с двумя кластерами из четырех ядер Cortex-X4 и четырьмя ядрами Cortex-A720, но без ядра эффективности Cortex-A520, плюс новейший графический процессор Arm Mali-G720 и процессор MediaTek. Нейронный процессор APU 790 (NPU), способный поддерживать генеративный искусственный интеллект и больших языковых моделей (LLM) с числом до 33 миллиардов параметров.
Sophgo SG2380 — 16-ядерный процессор SiFive P670 RISC-V с тактовой частотой 2,5 ГГц и AI-ускорителем 20 TOPS.
Sophgo SG2380 — это предстоящий 16-ядерный процессор RISC-V с тактовой частотой 2,5 ГГц, основанный на ядрах SiFive Performance P670, а также оснащенный ускорителем искусственного интеллекта производительностью 20 TOPS с использованием SiFive Intelligence X280 и Sophgo TPU, который появится в материнской плате mini-ITX настольного класса стоимостью 120 долларов во втором полугодии 2024 года.
SiFive анонсирует NPU Intelligent X390 и ядро Performance P870 RISC-V
SiFive анонсировала два новых высокопроизводительных IP-блока с NPU Intelligence X390 и ядром Performance P870 RISC-V, которые должны найти свое применение в процессоре, предназначенном для приложений генеративного искусственного интеллекта и машинного обучения.
Читать далее «SiFive анонсирует NPU Intelligent X390 и ядро Performance P870 RISC-V»