Создано устройство, которое отслеживает жесты рук с помощью звука и ИИ

Потенциальные применения включают отслеживание положения рук для виртуальной реальности, управление смартфонами и другими устройствами с помощью жестов рук, а также понимание действий пользователя.

EchoWrist — это одна из новейших технологий отслеживания позы тела от SciFi Lab. Руководит лабораторией профессор информатики Чэн Чжан. Это первый раз, когда лаборатория расширила свои технологии за пределы тела. Устройство не только отслеживает руку, но и объекты и окружающую среду.

EchoWrist использует два миниатюрных динамика, установленных на верхней и нижней сторонах браслета, чтобы отражать бесслышные звуки от руки и объектов, которые она держит. Два микрофона поблизости ловят эхо, которые интерпретируются микроконтроллером. Небольшая батарея питает устройство.

Команда разработала нейронную сеть для интерпретации позы руки пользователя на основе звуковых сигналов. В ходе тестирования устройство успешно определило объекты и действия с точностью до 97.6%.

По словам исследователей, EchoWrist может использоваться для улучшения взаимодействия со смарт-часами и другими устройствами, а также для воспроизведения движений рук в приложениях виртуальной реальности.