Nous suivre Industrie Techno

Un logiciel qui décrit les images avec des mots

Sophie Eustache
Un logiciel qui décrit les images avec des mots

Comment décrire ces images ?

© dr

Google développe un logiciel de reconnaissance d’images, basé sur deux réseaux de neurones, capable de décrire sémantiquement avec précision des scènes sur une photo. Le logiciel, encore à l’état de prototype, a réussi la description d'images avec une précision de 70 %.

Une équipe de chercheur de Google a développé un logiciel expérimental capable de décrire avec précision et de manière sémantique des scènes sur des photos. Jusqu’à présent, les logiciels de reconnaissance d’images se limitaient à identifier des objets uniques, le logiciel de Google va plus loin dans la complexité. Il fonctionne à partir de neurones simulés, qui permettent de traiter des données massives et d’apprendre.

Deux réseaux de neurones

Pour cela, les chercheurs ont connecté deux réseaux de neurones, explique le site du MIT Technology Review. Ils ont été développés pour deux tâches différentes : l’un est chargé de traiter les images et de donner une représentation mathématique de leur contenu ; l’autre est chargé de générer des phrases en anglais. Quand les deux réseaux sont combinés, le premier transfert vers le second les représentations mathématiques de l’image traitée, et le second utilise ces informations mathématiques pour générer une phrase lisible. Pour gagner en précision, les chercheurs ont dû entrainer le logiciel, auquel ils ont soumis des dizaines de milliers d’images dotées d’une description écrite par des humains.

Si le logiciel a une exactitude bien meilleure que les autres prototypes déjà développés, il reste encore à améliorer, comme le prouvent les descriptions des deux images sur la colonne de droite (ci-dessous), où le logiciels voit « un frigo rempli de canettes de soda et de nourriture » et « un bus scolaire garé dans un parking ».


Bienvenue !

Vous êtes désormais inscrits. Vous recevrez prochainement notre newsletter hebdomadaire Industrie & Technologies

Nous vous recommandons

Collaboration start-up-grand groupe pour l'industrie 4.0 : tracer son chemin entre le sur-mesure et le générique

Collaboration start-up-grand groupe pour l'industrie 4.0 : tracer son chemin entre le sur-mesure et le générique

Arts et Métiers Accélération a organisé, mardi 6 juillet à Station F à Paris, un événement[…]

[Video] Grâce à la simulation, Facebook apprend aux robots à s’adapter à différents terrains

[Video] Grâce à la simulation, Facebook apprend aux robots à s’adapter à différents terrains

Comment le consortium « le Kollectiv » veut mettre l’exploitation des données au cœur du NewSpace

Comment le consortium « le Kollectiv » veut mettre l’exploitation des données au cœur du NewSpace

Cybersécurité dans le secteur de l'énergie : des infrastructures critiques à protéger

Avis d'expert

Cybersécurité dans le secteur de l'énergie : des infrastructures critiques à protéger

Plus d'articles