Исследователи Стэнфордского университета совместно с лабораторией Amazon представили систему HandelBot, которая позволяет роботам с пятипалыми манипуляторами исполнять музыкальные произведения на акустическом пианино. Основная задача проекта — перенос навыков, отработанных в виртуальной среде, в реальные условия, где требуется миллиметровая точность и синхронизация движений двух рук.
Двухэтапное обучение: от симуляции к реальности
Система использует двухэтапный метод подготовки. На первом этапе робот обучается базовым двигательным паттернам в симуляторе, где можно быстро набрать большой объём данных. Затем алгоритм переносится на физическое оборудование для донастройки: инженеры корректируют траектории пальцев на основе информации о том, какие клавиши были нажаты. После этого включается механизм обучения с подкреплением — система самостоятельно вносит небольшие изменения в движения, ориентируясь на сигналы от MIDI-выхода пианино. Полная адаптация к реальному инструменту занимает около 30 минут.
Оборудование и результаты тестирования
Эксперименты проводились на установке с двумя манипуляторами Franka Emika Panda и FR3, оснащёнными антропоморфными кистями Tesollo DG-5F. Для проверки точности использовались пять музыкальных фрагментов, включая упрощённые версии «К Элизе» и Прелюдии до мажор Баха. Прямой перенос алгоритмов из симуляции показал низкую результативность: корректно воспроизводилось менее 30% нот. Применение двухэтапного метода позволило повысить этот показатель до 50–80% в зависимости от сложности композиции.
Текущие ограничения и дальнейшие планы
В настоящее время система задействует только три пальца каждой руки, а запястья движутся по заранее заданным траекториям. По словам разработчиков, это связано с конструкцией роборуки: точное позиционирование большого пальца и мизинца над клавишами требует изменения угла наклона кисти, что усложняет управление. В дальнейшем авторы планируют расширить функциональность системы, чтобы использовать все пять пальцев и исполнять более сложные музыкальные произведения.