Ученые создали виртуальный дом, чтобы научить нейросеть бытовым действиям

Для обучения нейросетей бытовому обслуживанию ученые разработали виртуальную среду VirtualHome. Над проектом работала международная группа ученых из США, Канады и Словении, а курировал их исследовательскую деятельность Антонио Торральба.

По словам специалистов, в их виртуальной среде учтено огромное количество бытовых ситуаций, которые могут происходить в доме. Кроме того, эти ситуации отлично описывают поведение человека, находящегося в домашней обстановке. Программа VirtualHome способна сама генерировать редкие, но похожие ситуации, что позволяет нейросети понять сложные для нее действия человека.



На первых этапах разработки виртуальной среды инженеры собрали огромную базу данных, содержащую описание практически всех бытовых действий, совершаемых в большом доме. Затем это все было визуализировано в среде программирования. В итоге инженеры получили более двух тысяч компиляций.

На основе этой базы данных разработчики стали создавать анимации. При этом параллельно создавалась нейросеть, которой предстояло описывать то, что делают анимированные персонажи и отправлять обработанные данные основной нейросети. Ученые считают, что такое комбинированное обучение позволит создать эффективную нейросеть, способную управлять «умным домом».