Опубликовано

SenseCAP Watcher — это управляемый голосом агент искусственного интеллекта в физической среде  для мониторинга пространства на основе LLM (краудфандинг)

Seeed Studio запустила кампанию Kickstarter для SenseCAP Watcher, физического агента ИИ, способного контролировать пространство и предпринимать действия на основе событий в этой области. Описанный как «первый в мире агент LLM в физической среде для создания более умных пространств», SenseCAP Watcher использует бортовые и облачные технологии для «преодоления разрыва между цифровым интеллектом и физическими приложениями».

Читать далее «SenseCAP Watcher — это управляемый голосом агент искусственного интеллекта в физической среде  для мониторинга пространства на основе LLM (краудфандинг)»
Опубликовано

Инструментарий Rockchip RKLLM выпущен для ускоренных NPU больших языковых моделей на SoC RK3588, RK3588S, RK3576

Инструментарий Rockchip RKLLM (также известный как rknn-llm) — программный стек для развертывания генеративных моделей ИИ на Rockchip RK3588 , RK3588S или RK3576 SoC с использованием встроенного NPU производительностью 6 TOPS для ИИ.

Ранее тестировались LLM на одноплатных компьютерах Rockchip RK3588 с GPU Mali G610 , ожидалось скорое появление поддержки NPU. Публикация в X от Orange Pi сообщила о выпуске программного стека RKLLM, работающего с Orange Pi 5 семейством одноплатных компьютеров и Orange Pi CM5 системными модулями.

Читать далее «Инструментарий Rockchip RKLLM выпущен для ускоренных NPU больших языковых моделей на SoC RK3588, RK3588S, RK3576»

Опубликовано

Обзор AI-бокса Radxa Fogwise Airbox – Часть 2: Llama3, Stable Diffusion, imgSearch, Python SDK, YOLOv8

После изучения оборудования Radxa Fogwise Airbox в первой части обзора в прошлом месяце, теперь представилась возможность протестировать AI-бокс на базе SOPHGO SG2300x с предустановленным образом Ubuntu 20.04 Server, содержащим CasaOS, а также контейнеры Stable Diffusion и Llama3.

Вторую часть обзора начнём с проверки предустановленного генератора изображений Stable Diffusion и ИИ-чата Llama3, затем вручную установим в веб-интерфейсе CasaOS поисковую систему imgSearch на базе ИИ, протестируем Python SDK через командную строку и запустим модели компьютерного зрения Resnet50 и YOLOv8.

Читать далее «Обзор AI-бокса Radxa Fogwise Airbox – Часть 2: Llama3, Stable Diffusion, imgSearch, Python SDK, YOLOv8»

Опубликовано

Arm представляет процессоры Cortex-X925 и Cortex-A725, GPU Immortalis-G925, ПО Kleidi AI

Arm анонсировала новые процессоры Armv9 и GPU Immortalis для мобильных SoC, а также ПО Kleidi AI, оптимизированное для процессоров Arm от архитектур Armv7 до Armv9.

Читать далее «Arm представляет процессоры Cortex-X925 и Cortex-A725, GPU Immortalis-G925, ПО Kleidi AI»

Опубликовано

Генеративный ИИ на NVIDIA Jetson Orin, Jetpack 6 SDK с поддержкой нескольких ОС

NVIDIA представила ряд анонсов на ROSCon 2023, посвящённых робототехнике и embedded-системам. Ключевыми новостями стали генеративный ИИ на модуле NVIDIA Jetson Orin и выход Jetpack 6 SDK в следующем месяце (ноябрь 2023 г.). Этот SDK, как обычно, поддерживает Ubuntu, но также совместим с другими ОС и платформами: Debian, Yocto, Wind River, Redhawk RTOS и Balena .

Генеративный ИИ на NVIDIA Jetson Orin

Последний год сопровождался ажиотажем вокруг генеративного ИИ благодаря сервисам вроде ChatGPT, Google Bard или Microsoft Bing Chat. Однако они используют проприетарное ПО на мощных облачных серверах. Как отмечалось в статье про автономное LLM-решение «ИИ в коробке» , существуют открытые проекты (например, модель преобразования речи в текст Whisper и языковые модели Llama2), способные работать на периферийных embedded-устройствах. Но платформы на базе Rockchip RK3588S или Raspberry Pi 4, по замечаниям читателей, часто не обладают достаточной производительностью и объёмом памяти для практического применения генеративного ИИ, хотя некоторые платы RK3588 теперь оснащаются 32 ГБ ОЗУ .

Читать далее «Генеративный ИИ на NVIDIA Jetson Orin, Jetpack 6 SDK с поддержкой нескольких ОС»