Уже были представлены AI-агенты на базе OpenClaw для платформ ESP32, такие как Mimiclaw и PycoClaw , но компания Espressif Systems выпустила собственный фреймворк ESP-Claw для создания локальных AI-агентов, способных к взаимодействию и выполнению задач на основе LLM на устройствах ESP32.
ESP-Claw позволяет платам ESP32 реагировать на события, работать с решениями на основе LLM, сохранять полезный контекст и выполнять действия локально без подключения к облаку, если это не требуется. Агент может управлять сенсорами и состоянием устройства, а также выполнять действия в реальном мире, например, управлять RGB светодиодной лентой.
Некоторые особенности ESP-Claw включают:
- Чат-кодирование – определяйте поведение устройства через естественный разговор. LLM обрабатывает динамические решения, а локальные Lua-скрипты выполняются детерминированно, даже в офлайн-режиме.
- Быстрое время отклика – устройства реагируют на события в реальном времени вместо опроса. Локальная шина событий управляет Lua-правилами для сенсоров и триггеров, обеспечивая отклик с задержкой в миллисекунды как в онлайне, так и в офлайне.
- Подключи и работай с MCP – ESP-Claw выступает как в роли MCP-сервера, так и клиента, предоставляя доступ к оборудованию агентам и вызывая внешние сервисы.
- Приватная память на чипе – структурированная долговременная память хранится на чипе. Предпочтения и шаблоны автоматически извлекаются из разговоров, а события никогда не покидают устройство.
На веб-сайте проекта представлено несколько демо: управление RGB-лентой, игра «надувание шаров» при дуновении в микрофон, работа онлайн/офлайн и другое. Также есть руководство для начала работы. Обратите внимание, что ESP-Claw требует как минимум 8 МБ Flash и 8 МБ PSRAM, и в настоящее время поддерживает только ESP32-S3, но скоро появится поддержка ESP32-P4. Всё, что нужно – приобрести совместимую плату, макетную плату и несколько компонентов, а затем прошить прошивку через Web Flasher , или, при желании, собрать из исходного кода .
ESP-Claw поддерживает мессенджеры Telegram, QQ Bot, Feishu и WeChat ClawBot, а также Tavily для веб-поиска при необходимости. Также потребуется настроить LLM, и текущие варианты: OpenAI, Qwen, ChatGPT и «Custom» для опытных пользователей. После настройки всего можно управлять платой ESP32-S3 через мессенджеры.
Видеодемонстрация ниже автоматически генерирует код для эффекта радуги на RGB-ленте с 40 светодиодами, подключенной к IO 14. Принадлежащая Espressif M5Stack также опубликовал свою собственную видеодемонстрацию ESP-Claw для StickS3 & CoreS3 аппаратное обеспечение.
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.