Исследователи из Северо-Западного университета представили EITWatch — систему распознавания жестов на основе ЭИТ (электрическая импедансная томография) на базе ESP32-S3 с открытым исходным кодом, которая соответствует стандартному форм-фактору умных часов. Она использует плату Seeed Studio XIAO ESP32-S3 и восемь электродов, расположенных на задней стороне корпуса, для обнаружения жестов руки по изменениям импеданса, вызванным движением мышц и сухожилий под кожей.
В отличие от других наручных ЭИТ-систем которые используют кольцевые электродные ленты, EITWatch размещает все восемь электродов на задней стороне корпуса умных часов. Сенсорная область состоит из кольца электродов диаметром 31 мм, помещающегося в стандартном 40-миллиметровом корпусе часов, а 20-миллиметровое удлинение печатной платы содержит дискретный аналоговый фронтенд (AFE).
Технические характеристики EITWatch:
- Беспроводная плата – XIAO ESP32-S3
- SoC – Espressif ESP32-S3R8
- CPU – двухъядерный микроконтроллер Tensilica LX7 с тактовой частотой до 240 МГц и векторными инструкциями для ускорения AI
- Память – 512 КБ SRAM, 8 МБ PSRAM
- Беспроводная связь – Wi-Fi 4 и Bluetooth 5.0 с двухрежимным подключением (Classic + BLE)
- Хранилище – 8 МБ SPI flash
- Антенны – внешняя антенна u.FL для Wi-Fi и Bluetooth
- USB – разъем USB Type-C для питания и программирования
- SoC – Espressif ESP32-S3R8
- Сенсорная поверхность – 8 дисковых электродов диаметром 2 мм из позолоченной нержавеющей стали
- Расположение электродов – размещены по кольцу диаметром 31 мм, с расстоянием между соседними ~11.9 мм
- Аналоговый фронтенд (AFE)
- Возбуждение – генератор сигналов AD5930, выдающий синусоиду 50 кГц
- Драйвер – преобразователь напряжения в ток ADA4841, обеспечивающий размах тока ~1 мА
- Измерение – инструментальный усилитель AD8220 и 12-битный SPI АЦП AD7450
- Цифровые потенциометры – микросхемы AD5270 для установки тока драйвера и коэффициента усиления измерения
- Коммутация – 4 матричных коммутатора ADG738 с 8 каналами для маршрутизации пары «подача-измерение»
- Питание
- 5 В через порт USB Type-C
- Батарея 3,7 В, 300 мА·ч с потреблением 35 мА, обеспечивающая примерно 8,6 часов автономной работы
- Стабилизатор напряжения TLV73325PDBV 2,5 В; потребление 35 мА
- Размеры – 60 x 40 мм (6-слойная PCB); помещается под стандартным корпусом часов 40 мм
Поскольку плоская матрица не может обернуться вокруг запястья, EITWatch использует протокол многоуровневого сканирования, а не стандартную соседнюю инъекцию. Поддерживая один электрод в качестве фиксированного источника и переключая отрицательный сток через оставшиеся семь позиций, устройство может измерять различные глубины и угловые пути тока, выполняя 35 измерений импеданса за кадр с частотой 48 Гц.
Исследователи сообщают, что смарт-часы на ESP32-S3 запускают приложение ESP-IDF (v5.2+), которое передает данные EIT по Wi-Fi на ПК для регистрации и классификации, достигая точности распознавания жестов 92,5% для удерживаемых макро-жестов и 91,5% для микро-жестов, таких как щипки и смахивания. В статье также сообщается, что точность падает при тестировании через 48 часов до 73,2% для макро-жестов и 70,4% для микро-жестов. Точность дополнительно снижается для новых пользователей, достигая 63,1% и 55,3% соответственно.
Команда также успешно протестировала полностью локальный конвейер, используя одно ядро ESP32-S3 для сбора данных и другое для предварительной обработки сигнала и вывода ExtraTrees. Эта локальная установка непрерывно потребляет около 35 мА при 4,3 В. Это соответствует примерно 8,6 часам непрерывной работы от аккумулятора из идеализированной батареи емкостью 300 мАч.
В исследовании тестировались шесть макро-жестов (Six, Gun, Point, Thumb Up, Stretch, Fist) и пять микро-жестов (Swipe Left, Swipe Right, Pinch, Splay, Wrist Flip) наряду с классом расслабления.Ранее сообщалось о различных проектах умных часов с открытым исходным кодом и DIY, включая MutantW V1 , Sensor Watch Pro , и Core 2 Duo , но ни один из них не поддерживает распознавание жестов как EITWatch.
The EITWatch полностью имеет открытый исходный код, и все файлы, включая файлы проектирования печатной платы в Altium, Герберы и BoM, выпущены под лицензией CERN-OHL-P-2.0, в то время как прошивка на C для ESP32-S3 доступна под лицензией Apache-2.0. Вы можете найти все ресурсы на репозиторий GitHub , а за подробными техническими деталями можно заглянуть на сайт Xuanyou Liu . Он также опубликовал живое демо на LinkedIn .
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.