Nous suivre Industrie Techno

Un logiciel qui décrit les images avec des mots

Sophie Eustache
Un logiciel qui décrit les images avec des mots

Comment décrire ces images ?

© dr

Google développe un logiciel de reconnaissance d’images, basé sur deux réseaux de neurones, capable de décrire sémantiquement avec précision des scènes sur une photo. Le logiciel, encore à l’état de prototype, a réussi la description d'images avec une précision de 70 %.

Une équipe de chercheur de Google a développé un logiciel expérimental capable de décrire avec précision et de manière sémantique des scènes sur des photos. Jusqu’à présent, les logiciels de reconnaissance d’images se limitaient à identifier des objets uniques, le logiciel de Google va plus loin dans la complexité. Il fonctionne à partir de neurones simulés, qui permettent de traiter des données massives et d’apprendre.

Deux réseaux de neurones

Pour cela, les chercheurs ont connecté deux réseaux de neurones, explique le site du MIT Technology Review. Ils ont été développés pour deux tâches différentes : l’un est chargé de traiter les images et de donner une représentation mathématique de leur contenu ; l’autre est chargé de générer des phrases en anglais. Quand les deux réseaux sont combinés, le premier transfert vers le second les représentations mathématiques de l’image traitée, et le second utilise ces informations mathématiques pour générer une phrase lisible. Pour gagner en précision, les chercheurs ont dû entrainer le logiciel, auquel ils ont soumis des dizaines de milliers d’images dotées d’une description écrite par des humains.

Si le logiciel a une exactitude bien meilleure que les autres prototypes déjà développés, il reste encore à améliorer, comme le prouvent les descriptions des deux images sur la colonne de droite (ci-dessous), où le logiciels voit « un frigo rempli de canettes de soda et de nourriture » et « un bus scolaire garé dans un parking ».


Bienvenue !

Vous êtes désormais inscrits. Vous recevrez prochainement notre newsletter hebdomadaire Industrie & Technologies

Nous vous recommandons

[Covid 19] Comment le prometteur outil de BioNTech et Instadeep mêle modélisation biostructurelle et IA pour repérer les variants à risque

[Covid 19] Comment le prometteur outil de BioNTech et Instadeep mêle modélisation biostructurelle et IA pour repérer les variants à risque

Le système d’alerte permettant de détecter au plus tôt les variants à haut risque du SARS-CoV-2[…]

Crise de croissance dans la cybercriminalité : le Panocrim 2022 du Clusif pointe un effet inattendu de l'intensification des attaques

Crise de croissance dans la cybercriminalité : le Panocrim 2022 du Clusif pointe un effet inattendu de l'intensification des attaques

Un écran OLED entièrement fabriqué par impression 3D

Un écran OLED entièrement fabriqué par impression 3D

La photonique sur silicium gagne en fonctionnalité

Fil d'Intelligence Technologique

La photonique sur silicium gagne en fonctionnalité

Plus d'articles