Nous suivre Industrie Techno

Facebook AI crée un personnage de jeu vidéo... à votre image !

Séverine Fontaine
Facebook AI crée un personnage de jeu vidéo... à votre image !

Des chercheurs du FAIR (Facebook Artificial Intelligence Research) ont utilisé des réseaux de neurones pour extraire d’une séquence vidéo une personne et permettre de le contrôler dans un monde virtuel.

 

Et si, pour jouer à votre jeu vidéo favori, vous commandiez un personnage à votre image ? C'est ce que développe Facebook AI grâce aux avancées en apprentissage profond, le deep learning. Les chercheurs du laboratoire d'intelligence artificielle de Facebook ont en effet réussi à extraire une personne en action d'une vidéo pour en sortir un modèle contrôlable. Ce dernier peut être ensuite intégré dans un nouvel environnement de jeu vidéo. La méthode de création d'un personnage virtuel à partir de vidéo se base sur deux réseaux de neurones – Pose2Pose (P2P) et Pose2Frame (P2F) – qui travaillent de manière séquentielle. Dans un premier temps, P2P commence par extraire les différentes poses dynamiques de la personne présente sur la vidéo pour en faire un modèle contrôlable, via une manette de jeu ou un clavier d'ordinateur. Les chercheurs obtiennent ainsi le contrôle du personnage en mouvement. Dans un second temps, le réseau P2F génère une image décrivant l'apparence de la personne (cheveux, vêtements, etc.) ainsi qu'un masque pour isoler la silhouette de son environnement.

Un intégration à parfaire

L'ensemble est ensuite associé à un arrière-plan – fixe ou dynamique – pour immerger le personnage dans le jeu vidéo. Le résultat n'est pour le moment pas optimal, puisque le personnage semble parfois « flotter » sur son environnement. Mais cette technologie pourrait ouvrir de nouvelles perspectives dans le domaine des loisirs vidéoludiques, en permettant de réaliser de nouveaux types de jeux plus réalistes et personnalisés. Outre le fait de pouvoir, un jour, contrôler un personnage à notre image, ou à celle de notre acteur favori, cette méthode pourrait aider à modéliser, pour des jeux de sports des représentations de joueurs, comme des footballeurs ou des tennisman, plus réaliste…

Bienvenue !

Vous êtes désormais inscrits. Vous recevrez prochainement notre newsletter hebdomadaire Industrie & Technologies

Nous vous recommandons

Des pixels un million de fois plus petits que ceux des smartphones

Des pixels un million de fois plus petits que ceux des smartphones

Les plus petits pixels jamais créés ont été développés par des chercheurs de l’Université de[…]

Un test pour arbitrer le match entre puces quantiques et supercalculateurs

Un test pour arbitrer le match entre puces quantiques et supercalculateurs

Iter, New Space, Intelligence artificielle... les meilleures innovations de la semaine

Iter, New Space, Intelligence artificielle... les meilleures innovations de la semaine

Paris : miser sur la recherche fondamentale

Paris : miser sur la recherche fondamentale

Plus d'articles