Ученые обучили нейросеть определению и извлечению звукового сопровождения видео

Учеными проведено обучение искусственного интеллекта редактированию аудио, причем не простыми стандартными изменениями, а на уровне пикселей. Успешная работа организована специалистами Массачусетского технологического института.

Теперь искусственному интеллекту под силу редактирование музыкальных программ, причем делает это он совершенно самостоятельно. Так же, у него есть способность просмотра видео, которое содержит музыку. На определенном этапе нейросеть выделяет оттуда звуковые дорожки, и в дальнейшем проводит их обработку. К примеру, может придать некоторым из них более мягкие эффекты или изменить громкость.


У проекта пока нет научного названия. Из сообщений известно, что нейросеть успешно определила на пиксельном уровне звучание конкретных музыкальных инструментов, с последующим извлечением звуковых треков, соответствующих исполнению каждого из них. Из информации от ученых известно, что на текущий момент их разработка может идентифицировать звук более чем 20-ти инструментов, пользующихся наибольшей популярностью.

Данная обработка проводилась ранее исключительно усилиями человека. Сейчас же в области редактирования аудио открываются другие перспективы и новые горизонты. Так же, ученым удалось добиться возможности пространственного расположения инструментов, причем на пиксельном уровне.
Автор: Дубов Дмитрий
9-07-2018, 07:00


Читайте также
Добавить комментарий


Введите комментарий:



Издание «Проект», Региональная общественная организация помощи женщинам и детям, находящимся в кризисной ситуации «Информационно, признаны в РФ иностранными агентами.
ПОСЛЕДНИЕ НОВОСТИ
Просмотреть все новости