Нейросеть сделала фигуры людей на фотографиях "живыми"

Специалисты по нейросетям из Америки разработали методику, которая может оживить человеческие фигуры на двухмерных картинках. Сперва она делает для фигуры трехмерное изображение, а потом выдает "мульт" с аналогом, выбегающим из картинки. Статью об этом опубликовал ресурс arXiv.org.



Такая тема уже не первый год находит свое продвижение среди международных экспертов IT-технологий. В частности, в 2017 году израильские эксперты совместно с Facebook создали систему, позволяющую лицо на фотографии "гримасничать". А другие разработчики из Вашингтона теперь усовершенствовали подобную методику, "заставив" фигуру человека даже выбегать за пределы фото.

Смысл этой новинки таков: разработанный алгоритм являет собой связь из разных подсистем, снабженных собственным кодом. Первоначально принимается двухмерная картинка, обрабатываемая нейросетью Mask R-CNN. Далее система идентифицирует на снимке диапазон с изображением человека и производит отделение его от фоновой части. После этого еще один "нейропомощник" трансформирует человеческое изображение в скелет, состоящий из прямых отрезков. А заканчивается процесс созданием правдоподобного фона в кадровых диапазонах, которые на оригинале снимка были закрыты фигурой персонажа.

Ну, а финалом такой метаморфозы является уже превращение модели 2D в 3D с наложением на неё текстур прототипа. Стоит заметить, что человек, управляющий этим процессом, имеет возможность даже изменить первоначальное расположение конечностей исходного персонажа. Своеобразным венцом таких чудес стала интеграция в такую "игру алгоритмов" эффектов дополненной реальности. Именно такое слияние дало возможность "оживить" ранее неодушевленные картины.