Ce système enseigne aux robots à effectuer des tâches ménagères dans un monde virtuel

Un nouveau système appelé VirtualHome a le potentiel d’enseigner aux robots comment exécuter des tâches ménagères dans une simulation 3D.

Le Laboratoire d’ informatique et d’intelligence artificielle du Massachusetts Institute of Technology (MIT) et l’Université de Toronto ont publié un document présentant un nouveau système appelé VirtualHome, capable d’enseigner aux robots l’exécution de tâches ménagères. Le système comporte un monde virtuel 3D où des agents artificiels exécutent jusqu’à 1 000 tâches qui leur sont assignées.

3000 activités incorporées

Pour créer VirtualHome, les chercheurs ont intégré au système près de 3 000 programmes d’activités, ainsi que leurs sous-tâches détaillées. L’équipe a ensuite mis au point un moyen d’illustrer le système dans un monde ressemblant à celui des Sims 3D, où des agents artificiels exécutent ces activités dans huit pièces différentes d’une même maison.

Le projet repose sur le fait que les robots ont besoin d’instructions explicites pour effectuer les tâches les plus simples. Par exemple, une instruction pour «éteindre la lumière» nécessiterait des entrées supplémentaires ou des sous-tâches telles que «repérer l’interrupteur de la lumière», «marcher vers l’interrupteur de la lumière» et «appuyer sur l’interrupteur de la lumière».

«Décrire les actions sous forme de programmes informatiques présente l’avantage de fournir une description claire et sans ambiguïté de toutes les étapes nécessaires à la réalisation d’une tâche», explique Xavier Puig, étudiant au doctorat au MIT et auteur principal. « Ces programmes peuvent donner des instructions à un robot ou à un personnage virtuel. Ils peuvent également être utilisés pour représenter des tâches complexes comportant des actions plus simples. »

Instructions tournées en codes

Les chercheurs ont créé ces instructions adaptées aux robots en transformant les descriptions verbales des tâches ménagères en codes. Ces codes ont été combinés en programmes, représentant chacun une action plus complexe, puis introduits dans le simulateur VirtualHome 3D.

Les agents virtuels de la vidéo pourraient alors être vus à l’écran en train d’accomplir les tâches du programme. Cette nouvelle base de données d’instructions de robot pourrait un jour être intégrée à des systèmes robotiques de type Alexa afin d’améliorer la capacité des machines à incorporer et à exécuter de nouvelles tâches.

« Cette ligne de travail pourrait faciliter de véritables assistants personnels robotiques à l’avenir », a déclaré Qiao Wang, assistant de recherche en arts, médias et ingénierie à l’Arizona State University. «Au lieu de chaque tâche programmée par le fabricant, le robot peut apprendre des tâches simplement en écoutant ou en regardant la personne qu’il accompagne. Cela permet au robot d’effectuer des tâches de manière personnalisée, voire même d’invoquer un jour un lien affectif à la suite de ce processus d’apprentissage personnalisé. ”

Ce n’est pas la première fois que des chercheurs entraînent avec succès des robots à la réalisation de tâches analogues à celles d’un humain. En 2015, UC Berkeley a développé des algorithmes permettant aux robots d’apprendre des tâches motrices.

Leur travail, une forme d’apprentissage par renforcement, a été accueilli comme une étape majeure dans le domaine de l’intelligence artificielle. L’équipe a nommé leur expérience BRETT (Berkeley Robot for the Elimination of Tedious Tasks), et lui a confié diverses tâches ménagères.

Actuellement, l’Institut Allen pour l’Intelligence Artificielle travaille également sur un environnement virtuel robotisé appelé Thor. Ce système définit les objets, leurs utilisations correspondantes et les actions que le robot peut entreprendre pour que les machines apprennent à effectuer des tâches par essais et erreurs.

Via:  MIT News