RuView — это реализаose» с открытым исходным кодом, использующая несколько узлов ESP32 для преобразования сигналов WiFi в оценку позы человека в реальном времени, мониторинг жизненных показателей и обнаружение присутствия без использования видеокамер.
WiFi DensePose — это метод сенсоринга, впервые исследованный в академических работах , который использует сигналы WiFi для реконструкции позы человека. RuView реализует эту технику на Rust или Python и полагается на ваш WiFi-роутер и несколько узлов ESP32 для отслеживания позы тела, определения частоты дыхания и измерения сердечного ритма даже сквозь стены. Как будет обсуждаться ниже, этот проект не лишен противоречий, поскольку некоторые утверждают, что это подделка.
Решение полагается на искажения информации о состоянии канала (CSI), вызванные движением человека, для реконструкции положения тела, частоты дыхания, сердечного ритма и присутствия в реальном времени с использованием «физически обоснованной обработки сигналов и машинного обучения».
Очевидно, это означает, что требуется оборудование с поддержкой CSI, которую реализуют не все потребительские WiFi-устройства. В описании проекта перечислены различные варианты аппаратного обеспечения:
- Mesh на ESP32 (рекомендуется) – 3-6x ESP32-S3 + WiFi-роутер; около $54 (только узлы ESP32) для определения позы, дыхания, сердцебиения, движения, присутствия
- Исследовательский сетевой адаптер – Intel 5300 / Atheros AR9580 (~$50-100) с полной CSI и 3×3 MIMO
- Другие WiFi-клиенты – ноутбук на Windows, macOS или Linux (без дополнительных затрат); только RSSI для грубого определения присутствия и движения
Если у вас нет подходящего WiFi-оборудования, решение работает в режиме симуляции с синтетическими данными CSI. Однако при использовании Mesh на ESP32-S3 можно достичь следующих показателей производительности:
- Оценка позы – 54 тыс. кадров/с (Rust)
- Обнаружение дыхания – 6-30 вдохов/мин
- Сердечный ритм – 40-120 уд./мин
- Датчик присутствия – задержка < 1 мс
- Сквозь стены – до 5 м
Установка на хост-машине использует Docker и работает на Windows 10/11, macOS 10.15, Ubuntu 18.04 или новее. Также потребуется прошить каждую плату ESP32-S3. Важно понимать, что обнаружение присутствия, уровня движения (степени подвижности), частоты дыхания и измерение качества сигнала должны работать «из коробки» без нейронных сетей. Однако оценка позы со скелетом из 17 ключевых точек не является готовым решением и требует обучения пользователем модели под свою конкретную среду для работы. Инструкции приведены в руководстве пользователя на GitHub-репозитории проекта . После настройки доступна веб-панель по адресу http://localhost:3000. Для быстрого ознакомления с веб-интерфейсом на синтетических данных можно посетить живой демо-сайт.
Некоторые другие заявленные преимущества и особенности проекта RuView и/или техники WiFi DensePose в целом включают:
- Конфиденциальность — отслеживание позы человека только с помощью сигналов WiFi без использования камер.
- Поддержка нескольких людей
- Сквозь стены
- Ликвидация последствий катастроф — обнаружение выживших, оказавшихся в ловушке под завалами, и классификация тяжести травм (скорее всего, здесь присутствует преувеличение)
- Мультистатическая Mesh-сеть — 4-6 недорогих сенсорных узлов работают вместе, объединяя 12+ перекрывающихся путей сигнала для полного 360-градусного покрытия помещения с точностью до дюйма и без путаницы между людьми.
- Самообучение на основе сырых данных WiFi
- Безопасность QUIC Mesh — вся связь между сенсорами зашифрована по принципу «конец-в-конец» с обнаружением несанкционированного доступа, защитой от повторного воспроизведения и плавным восстановлением соединения, если узел перемещается или отключается от сети.
- Дисплей AMOLED — платы ESP32-S3 со встроенными экранами AMOLED показывают присутствие, жизненные показатели и статус помещения в реальном времени непосредственно на сенсоре.
Пока что всё выглядит хорошо, но около месяца назад Deletexiumu ознакомился с проектом и назвал его мошенничеством . На это была веская причина, поскольку в то время несколько переменных были заполнены случайными данными. В репозитории также отмечалось отсутствие предварительно обученных весов, скриптов для обучения, набора данных и кода для оценки, среди прочих проблем.
Не все утверждения были проверены, но при изучении самого последнего файла v1/src/hardware/csi_extractor.py, случайно сгенерированные значения отсутствуют:
amplitude = all_values[:num_antennas * num_subcarriers].reshape(num_antennas, num_subcarriers)
phase = all_values[num_antennas * num_subcarriers:].reshape(num_antennas, num_subcarriers)Возможно, (основанный на ИИ) анализ был выполнен на ранней версии кода, содержащей только случайные/смоделированные данные. Научная основа проекта реальна (см. ссылку на исследовательскую работу во введении), компания Espressif Systems продемонстрировала более простую реализацию WiFi CSI на ESP32 в 2022 году, а также можно увидеть некоторые отчеты пользователей во вкладке issues, различные pull request’ы и т.д. Вполне вероятно, что некоторые заявления являются преувеличенными или справедливы только в определенных условиях, но нет ничего, указывающего на полную бесполезность проекта. С другой стороны, на YouTube не удалось найти видео-демонстраций RuView, только людей, которые *говорят* об этом.
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.