Nous suivre Industrie Techno

Facebook AI crée un personnage de jeu vidéo... à votre image !

Séverine Fontaine
Facebook AI crée un personnage de jeu vidéo... à votre image !

Des chercheurs du FAIR (Facebook Artificial Intelligence Research) ont utilisé des réseaux de neurones pour extraire d’une séquence vidéo une personne et permettre de le contrôler dans un monde virtuel.

 

Et si, pour jouer à votre jeu vidéo favori, vous commandiez un personnage à votre image ? C'est ce que développe Facebook AI grâce aux avancées en apprentissage profond, le deep learning. Les chercheurs du laboratoire d'intelligence artificielle de Facebook ont en effet réussi à extraire une personne en action d'une vidéo pour en sortir un modèle contrôlable. Ce dernier peut être ensuite intégré dans un nouvel environnement de jeu vidéo. La méthode de création d'un personnage virtuel à partir de vidéo se base sur deux réseaux de neurones – Pose2Pose (P2P) et Pose2Frame (P2F) – qui travaillent de manière séquentielle. Dans un premier temps, P2P commence par extraire les différentes poses dynamiques de la personne présente sur la vidéo pour en faire un modèle contrôlable, via une manette de jeu ou un clavier d'ordinateur. Les chercheurs obtiennent ainsi le contrôle du personnage en mouvement. Dans un second temps, le réseau P2F génère une image décrivant l'apparence de la personne (cheveux, vêtements, etc.) ainsi qu'un masque pour isoler la silhouette de son environnement.

Un intégration à parfaire

L'ensemble est ensuite associé à un arrière-plan – fixe ou dynamique – pour immerger le personnage dans le jeu vidéo. Le résultat n'est pour le moment pas optimal, puisque le personnage semble parfois « flotter » sur son environnement. Mais cette technologie pourrait ouvrir de nouvelles perspectives dans le domaine des loisirs vidéoludiques, en permettant de réaliser de nouveaux types de jeux plus réalistes et personnalisés. Outre le fait de pouvoir, un jour, contrôler un personnage à notre image, ou à celle de notre acteur favori, cette méthode pourrait aider à modéliser, pour des jeux de sports des représentations de joueurs, comme des footballeurs ou des tennisman, plus réaliste…

Bienvenue !

Vous êtes désormais inscrits. Vous recevrez prochainement notre newsletter hebdomadaire Industrie & Technologies

Nous vous recommandons

Altrnativ.radio traque le ciel et l'espace

Altrnativ.radio traque le ciel et l'espace

À la confluence du spatial et du numérique, Altrnativ.radio est un ovni. Appartenant au groupe Altrnativ, fondé en mars 2020[…]

Minsar permet de créer sans coder

Minsar permet de créer sans coder

Jumeaux numériques : ruée vers un monde en 3D

Jumeaux numériques : ruée vers un monde en 3D

Pixee Medical assiste la chirurgie orthopédique

Pixee Medical assiste la chirurgie orthopédique

Plus d'articles