Специалисты Санкт-Петербургского федерального исследовательского центра (СПб ФИЦ) РАН завершили разработку программного обеспечения, позволяющего управлять электронными устройствами посредством жестов. Система распознаёт движения пользователя с точностью, приближающейся к 100%. Об этом сообщила пресс-служба учреждения 22 марта 2026 года.
По словам старшего научного сотрудника Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрия Рюмина, новое решение способно распознавать широкий спектр управляющих жестов, применяемых в повседневной жизни и на рабочих местах. Для выполнения команды — например, совершить звонок или поставить лайк в социальной сети — достаточно показать соответствующий жест перед камерой.
Мы разработали программное обеспечение, которое позволяет по видео распознавать широкий спектр управляющих жестов. Условно говоря, когда пользователь захочет позвонить или поставить лайк под фото в соцсети, ему достаточно показать в камеру большой палец.
Технология ориентирована на области, где критически важно соблюдение гигиенических норм. В медицине и на пищевых производствах бесконтактное управление оборудованием помогает поддерживать высокие стандарты санитарии, минимизируя необходимость физического взаимодействия с устройствами.
Нейросетевая модель для распознавания в сложных условиях
Высокое качество распознавания обеспечивается применением нейросетевой модели, которая строит трёхмерную карту глубины изображения. Эта технология позволяет системе уверенно определять жесты даже в условиях, когда фон визуально сливается с руками оператора. Благодаря такому подходу точность распознавания жестов достигла более 99,6% — показатель, превышающий характеристики существующих аналогов, отметили в пресс-службе.
Программное обеспечение автоматически идентифицирует 34 наиболее часто используемых жеста, включая состояние отсутствия жеста. Среди них — команды для постановки лайка, инициирования звонка, постановки точки, выбора объекта и другие. Для работы с системой необходимо запустить ПО на ноутбуке или компьютере и продемонстрировать жест перед встроенной камерой.
Исследование выполнено при поддержке гранта Российского научного фонда.