Инженеры Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института разработали умный коврик, который может точно оценить движения или позу человека без необходимости использования видеокамер. Система может быть полезна для обратной связи при физических упражнениях, отслеживания падений или отслеживания для приложений виртуальной реальности (VR) и игр.
Прототип коврика имеет площадь 3,3 м2 и вмещает более 9000 датчиков, состоящих из чувствительной к давлению пленки и токопроводящей нити. По сути, когда вес прикладывается к разным частям коврика, передаются разные электрические сигналы в зависимости от величины давления, места приложения этого давления и относительного расположения точек давления.
Система была сначала обучена синхронизированной комбинации тактильного ввода на коврике и соответствующего видео людей, выполняющих различные действия, такие как ходьба, приседания, отжимания, позы йоги, сидение, лежание, перекатывание или стояние на цыпочках.
Затем карты давления этих действий были назначены виртуальным моделям человека, выполняющего их, что позволило системе оценить позу человека, основываясь исключительно (извините за каламбур) на данных давления. Даже движения верхней части тела можно определить довольно точно - например, система может определить, сгибается ли человек влево или вправо, в зависимости от того, на какую ногу он переносит свой вес.
Все это означает, что умный коврик может узнать, как, скажем, выглядит выпад, без какого-либо ввода с камеры. Команда CSAIL говорит, что система на 97 процентов точно определяла конкретные действия и могла предсказать позу человека с точностью до 10 см.
«Вы можете представить себе использование коврика для тренировок», - говорит Юньчжу Ли, соавтор исследования. «Основываясь исключительно на тактильной информации, он может распознавать активность, подсчитывать количество повторений и подсчитывать количество сожженных калорий».
Другие возможные приложения включают наблюдение за пожилыми людьми на предмет падений, помощь раненым в реабилитации или отслеживание движений игрока в виртуальной реальности или видеоиграх. Он может быть менее обременительным, чем носимые трекеры, проще в настройке, чем инфракрасные датчики, и более приватным, чем использование камер.
Команда утверждает, что коврик также легко производственно масштабируется в промышленности и имеет довольно низкую стоимость - прототип был построен менее чем за 100 долларов США. Далее исследователи стремятся найти способы собрать больше информации из сигналов, например рост или вес пользователя, и адаптировать ее для нескольких пользователей одновременно.
Исследование было опубликовано в Proceedings of the IEEE / CVF Conference on Computer Vision and Pattern Recognition. Команда демонстрирует умный коврик на видео ниже.
Интеллектуальный коврик: оценка 3D позы человека с помощью только тактильных датчиков.
