Nous suivre Industrie Techno

L’apprentissage auto-supervisé, futur du deep learning appliqué à l’image chez Facebook AI Research

Martin Clavey
Soyez le premier à réagir

Soyez le premier à réagir

L’apprentissage auto-supervisé, futur du deep learning appliqué à l’image chez Facebook AI Research

© FAIR

Le deep learning veut se passer du coûteux étiquetage des images. Le modèle SEER, créé par le laboratoire de recherche franco-américain de Facebook (FAIR) en collaboration avec l’Inria, utilise des  algorithmes de deep learning auto-supervisés qui catégorisent les données sans avoir besoin qu’elles soient étiquetées. Ces algorithmes restent néanmoins très gourmands en données et en énergie.

L’étiquetage des images sera bientôt du passé pour le deep learning. Avec le modèle SEER (SElf-supERvised), décrit dans un article scientifique mis en ligne sur le site de prépublication arXiv, les équipes du laboratoire de recherche en Intelligence Artificielle de Facebook (FAIR) de Paris, en collaboration avec l’Inria, ont montré qu'un algorithme d'apprentissage auto-supervisé permettait d'apprendre à regrouper des images par catégories sans avoir besoin qu’un humain les pré-étiquette avant.

« Ces algorithmes sont le futur de l’apprentissage machine », affirme Mathilde Caron, doctorante à l’Inria et au FAIR, « Le modèle SEER est la combinaison d’un réseau de neurones basé sur une nouvelle architecture appelée RegNet de 1 300 millions de paramètres appris en utilisant l’algorithme auto-supervisé SwAV que nous avons mis au point l’année dernière et une base de données de 1 milliard d’images Instagram publiques. »

Catégoriser en analysant les similitudes de différentes distorsions

Jusqu’ici, le deep learning reposait sur la possibilité d’entraîner des algorithmes de catégorisation sur des données préalablement étiquetées. Le problème, c’est que cet étiquetage reste une tâche humaine et fastidieuse. Les nouveaux algorithmes d’apprentissage auto-supervisés n’ont plus besoin de cette étape.

Pour se passer de la labellisation humaine des images, les algorithmes d’apprentissage auto-supervisé comme SwAV vont analyser l’image après des distorsions comme une découpe, une rotation ou un filtre de couleur. L’algorithme classe ensuite les images dans des groupes dont les résultats des différentes distorsions se rapprochent le plus. Plus on utilise de distorsions plus la catégorisation devient précise.

Un deep learning moins biaisés

« Il y a énormément d’avantages à utiliser des algorithmes non supervisés », explique Mathilde Caron, « le processus d’annotation, en plus d’être cher, est biaisé par les annotateurs. En laissant l’algorithme apprendre directement sur la base de données, nous évitons ce biais même s’il reste celui de la confection de la base de données elle-même. ».

Cette classe d’algorithmes de deep learning pourrait permettre d’utiliser ce type d’intelligence artificielle sur des images où l’annotation est plus complexe. « Par exemple, en imagerie médicale, l’étiquetage d’une tumeur est difficile. Un algorithme non supervisé pourrait reconnaitre qu’il y a des images qui se ressemblent qui correspondent à des cas bénins et d’autres qui se ressemblent et qui sont des images de tumeurs » ajoute la doctorante.

Le « bon sens » humain pas encore atteint

Le responsable scientifique de la recherche au FAIR, Yann Lecun, s’est fendu d’un billet de blog le 4 mars dernier qui compare l’apprentissage non-supervisé au « bon sens » humain qui nous permet d’analyser le monde sans tout étiqueter.

Si les algorithmes d’apprentissage non-supervisé permettent effectivement aux machines de se passer de l’étiquetage, ils n’évitent malheureusement pas le besoin d’une masse de données énormes pour pouvoir apprendre de manière efficace. « Les algorithmes de deep learning restent toujours gourmands en données et il y a toujours un bénéfice à les entrainer sur le plus d’images possible », reconnaît Mathilde Caron.

Un enfant n’a pas besoin de voir des millions de voitures pour en reconnaître une. Il faudra encore du travail aux chercheurs en intelligence artificielle pour atteindre l’efficacité du  « bon sens » humain.

Bienvenue !

Vous êtes désormais inscrits. Vous recevrez prochainement notre newsletter hebdomadaire Industrie & Technologies

Nous vous recommandons

L’Inria et l’Inserm renforcent leurs liens sur la question du numérique appliqué à la santé

L’Inria et l’Inserm renforcent leurs liens sur la question du numérique appliqué à la santé

60 millions d’euros sont alloués à un Programme et équipements prioritaires de recherche (PEPR) sur la santé et le[…]

« Le Zero Trust est la seule façon réaliste de protéger son réseau aujourd’hui », avance Bernard Ourghanlian directeur technique et sécurité à Microsoft France

« Le Zero Trust est la seule façon réaliste de protéger son réseau aujourd’hui », avance Bernard Ourghanlian directeur technique et sécurité à Microsoft France

Trois plateformes XDR lancées lors des Assises de la cybersécurité

Trois plateformes XDR lancées lors des Assises de la cybersécurité

Comment Owkin entraîne des modèles d'IA sans transférer les données avec le federated learning

Comment Owkin entraîne des modèles d'IA sans transférer les données avec le federated learning

Plus d'articles