Наши четвероногие друзья не ходят по асфальту так, как по льду или песку, поскольку они могут видеть и чувствовать пол глазами и нервными окончаниями и соответствующим образом приспосабливаться. Проект с открытым исходным кодом TRACEPaw, который расшифровывается как «Распознавания рельефа местности и оценки силы контакта с помощью сенсорной лапы робота на ножках», целью которой является предоставление таких же возможностей роботам на ножках.
Autonomous Robots Lab достигает этого с помощью платы Arduino Nicla Vision, использующей камеру и микрофон для запуска моделей машинного обучения на микроконтроллере STM32H7 Cortex-M7, чтобы определить тип местности и оценить силу, действующую на ногу.
Но камера, судя по всему, используется не для того, чтобы смотреть на местность, а для того, чтобы наблюдать за деформацией силиконовой полусферы, изготовленной из « драконьей кожи», на конце ноги, чтобы оценить трехмерные векторы силы, а микрофон используется для распознавания типов местности в режиме реального времени, при этом оба потока данных передаются в модели машинного обучения для оценки силы и классификации местности, соответственно, чтобы робот мог адаптировать свои стратегии передвижения. Arduino Nicla Vision также оснащен 6-осевым датчиком движения, но, что интересно, в проекте он вообще не используется.
TRACEPaw имеет полностью открытый исходный код, а оборудование, исходный код и документация доступны на GitHub, причем последняя объясняет следующее:
- Механическое проектирование и электроника с использованием спецификаций CAD-файлов (STEP/STL), инструкций по сборке и производственных рекомендаций.
- Настройка программного обеспечения — руководство по настройке программной среды (прошивка OpenMV + TensorFlow Lite) для TRACEPaw, включая инструкции по сбору данных, обучению и визуализации модели, а также процессу развертывания.
- Наборы обучающих и тестовых данных для визуальной оценки сил и возможностей классификации местности на основе звука TRACEPaw.
- Предварительно обученные модели в формате Keras и TensorFlow Lite.
Вы сможете воспроизвести ногу целиком, если у вас есть доступ к 4-осному станку с ЧПУ для изготовления алюминиевых деталей и 3D-принтеру для печати формы для силиконовой подошвы, которая изготавливается с использованием «процесса вакуумного литья», что, вероятно означает, что вам также понадобится машина для вакуумного литья…
Выражаем свою благодарность источнику из которого взята и переведена статья, сайту cnx-software.com.
Оригинал статьи вы можете прочитать здесь.