Южнокорейский стартап Soulart представил Soulart Station – безмаркерный трекер движений всего тела для VR, витубинга и захвата движения. Устройство использует времяпролётный (ToF) сенсор и встроенный нейронный процессор (NPU) для захвата данных 3D-облака точек и обработки отслеживания движений на самом устройстве.
Благодаря локальному выполнению моделей машинного обучения устройство избегает дорогостоящих вычислений на GPU ПК или облачной обработки, выдавая данные о движении по 23 суставам в 6DoF с заявленной задержкой машинного обучения менее 10 миллисекунд.
Характеристики Soulart Station:
- SoC – будет объявлено; указано только
- Встроенный двухъядерный NPU и встроенный графический процессор
- Полная обработка на устройстве (не требуются GPU ПК или облако; для конфиденциальности передаются только данные о движении)
- Подключение – Wi-Fi
- Сенсоры
- Специализированный времяпролётный (ToF) модуль (940 нм ИК)
- 4K RGB + NIR-камеры
- Отслеживание
- Метод – бесмаркерное 3D-сканирование + ML-расчет позы на устройстве (не требуются носимые устройства, костюмы или метки)
- Облако точек – ~300 000 точек (миллиметрового масштаба) с погрешностью менее 1%
- Частота сканирования – до 120 Гц / 120 FPS
- Точность позы – погрешность < 20 мм на станцию (улучшается при конфигурации с несколькими устройствами)
- Выходные данные – данные о движении для 23 суставов с 6DoF
- Задержка ML – < 10 мс (только для модели на устройстве)
- Поддержка одной или нескольких станций с подавлением помех ToF и захватом до 120 Гц на площади 50 м²
- USB – 1 порт USB Type-C для питания и передачи данных
- Разное
- Резьбовые отверстия 1/4″ для крепления камеры на задней и нижней сторонах
- Задняя кнопка питания
- Питание – 12 В постоянного тока, 2 А через задний зарядный порт
- Размеры (Ш x Г x В) – 75 x 75 x 70 мм
- Вес – 280 г
- Крепление – 2 резьбовых монтажных отверстия 1/4″-20 UNC (1 сзади, 1 снизу)
- Сертификация – IEC 60825-1, класс 1, безопасен для глаз (в процессе)
В программной части кроссплатформенное приложение Soulart управляет устройствами Station и направляет данные отслеживания движений в поддерживаемые приложения на платформах Windows, Meta Quest и Android XR, а также имеет драйвер SteamVR для SteamVR. Оно поддерживает такие функции, как живой предпросмотр и автоматический ретаргетинг аватара, а также потоковую передачу VMC, OSC и BVH, экспорт BVH/FBX и интеграции с VTube Studio, Warudo, VBridger, Unity, Unreal Engine, Blender, Maya, MotionBuilder и ROS2.
Система также имеет «режим хаба», в котором одно устройство Station может объединять данные от других устройств Station и выполнять дополнительную ML-обработку локально, снижая потребность в обработке на стороне ПК. Soulart планирует открыть исходный код приложения и плагинов в начале 2027 года, но прошивка Station останется закрытой. Команда также планирует выпустить бесплатные OTA-обновления, чтобы добавить отслеживание лица в первой половине 2027 года и отслеживание рук во второй половине 2027 года.
Ранее были рассмотрены системы отслеживания всего тела, такие как открытые SlimeVR Butterfly Trackers, которые используют носимые IMU-сенсоры, но могут подвергаться дрейфу и требуют крепления сенсоров к телу. В отличие от них, Soulart Station использует безмаркерное отслеживание на основе ToF с подавлением помех для конфигураций с несколькими Station и встроенный NPU для обработки движений.
Несколько станций уменьшают слепые зоны и покрывают до 50 м² при 120 ГцSoulart Station находится сейчас на Kickstarter , где на данный момент собрано более $450 000, что превышает поставленную цель в $300 000. Взносы начинаются с $419 за одну Station, тогда как пакеты на две Station и на восемь Station стоят $799 и $2 850 соответственно. Доставка оплачивается отдельно и оценивается примерно в $50 для США. Ожидается, что первые устройства будут отправлены в июне 2027 года.
Выражаем свою благодарность источнику, с которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.