Ученые обучили нейросеть определению и извлечению звукового сопровождения видео

Учеными проведено обучение искусственного интеллекта редактированию аудио, причем не простыми стандартными изменениями, а на уровне пикселей. Успешная работа организована специалистами Массачусетского технологического института.

Теперь искусственному интеллекту под силу редактирование музыкальных программ, причем делает это он совершенно самостоятельно. Так же, у него есть способность просмотра видео, которое содержит музыку. На определенном этапе нейросеть выделяет оттуда звуковые дорожки, и в дальнейшем проводит их обработку. К примеру, может придать некоторым из них более мягкие эффекты или изменить громкость.


У проекта пока нет научного названия. Из сообщений известно, что нейросеть успешно определила на пиксельном уровне звучание конкретных музыкальных инструментов, с последующим извлечением звуковых треков, соответствующих исполнению каждого из них. Из информации от ученых известно, что на текущий момент их разработка может идентифицировать звук более чем 20-ти инструментов, пользующихся наибольшей популярностью.

Данная обработка проводилась ранее исключительно усилиями человека. Сейчас же в области редактирования аудио открываются другие перспективы и новые горизонты. Так же, ученым удалось добиться возможности пространственного расположения инструментов, причем на пиксельном уровне.