Нейросеть прошла обучение создания анимации по текстовым описаниям

Создать анимацию с персонажами «Флинстоунов» может нейросеть CRAFT, причем воспроизводятся все художественные действия по описаниям в письменном виде. При «передвижении» персонажей, приложение использует исключительно слова, которые содержат последовательность нужных действий.

В разработку заложены идеи американских ученых, которые обучили искусственный интеллект, используя как основу датасет из 25000 более чем 180 роликов, пометка которых проводилась вручную. Особо отмечается, что нейросетью различаются в текстовых описания даже различные фоны, а так же точно придерживается суть сцены в треках, где указаны все действия для персонажа и его «коллег». Причем рисовать анимацию нейросеть не начинает «с чистого лица». Ею выбираются подходящие для этого движения и изображения героев из представленных в роликах спектрах.


Есть в программе и возможность допуска ошибок, но ученые не останавливаются и исследуют дальнейшие особенности для перспективного развития ИИ. На текущий момент, ограничения возможностей нейросети вызваны причинами ручной разметки и описывания записей.