Компания Facebook провела обучение нейростети повторять движения музыкантов по аудиозаписи

Специалисты компании Facebook обучили нейронную сеть создавать модели движений музыкантов. Данная разработка была представлена в ходе проведения конференции CVPR.

Как считают программисты Facebook, посвятившие себя обучению нейросети, новая разработка представлена только стартовой точкой в дальнейшем изучении доступных музыкальных инструментов, причем с уровня новичка. Сеть может моделировать действия музыкантов по воспроизводимой аудиозаписи, и тут же формирует проекцию действий на аватаре, который повторяет музыканта. Смысл заключается в предоставлении возможности обучающимся, точно представлять положение рук при игре на том или ином инструменте. LSTM-нейросеть Facebook способна не только процессу обучения, но и может запоминать всевозможные связи на долгосрочный период.


Первые эксперименты проводили на записях пианино и скрипки, которые были взяты из свободно доступных источников интернета. Умение сети точно и пропорционально фиксировать расположение рук исполнителя на знакомом инструменте, позволило ей успешно построить форму скелетной модели. Благодаря такой возможности, программа точно определила связь между движениями и звуком автора, а так же параллельно занималась проектированием предсказаний.