Apprentissage automatique: robustesse et généralisabilité

Ce projet a permis de développer de nouvelles bases théoriques communes d'optimisation et d’apprentissage pour les réseaux neuronaux afin d’éliminer les obstacles de calcul à l'évolutivité, mais également de certifier la qualité des résultats d'apprentissage. Le plan d'attaque de base s’appuie sur les résultats théoriques préliminaires des équipes de recherche concernant le compromis entre la taille des données et le calcul assorti de garanties, ainsi que sur leurs récentes méthodes de calcul qui permettent déjà de résoudre des problèmes d'optimisation convexe à grande échelle comme les relaxations de problèmes non convexes.

L'étude commune de l'optimisation et des représentations de fonctions n'en est qu'à ses débuts, même pour les formules de minimisation de base dans l'apprentissage automatique. En adoptant une approche unifiée dans le cadre plus large de l'optimisation non convexe, le projet a tenté de développer de nouvelles méthodes applicables au-delà des tâches de génération de données, de compression, d'adaptation au domaine et de contrôle.

Trois axes de recherche interdépendants ont été analysés:

(1) Une structure de prédiction précise et évolutive avec les réseaux neuronaux et la dynamique de Langevin

(2) Une structure de décision flexible et robuste via l'apprentissage par renforcement

(3) La généralisation et la certification des réseaux neuronaux

La théorie et la méthodologie de ce projet sont applicables bien au-delà des tâches de génération de données, de compression, d’adaptation au domaine et de contrôle, promettant ainsi des capacités d'apprentissage substantielles dans divers domaines.

Ce projet a permis d’obtenir les résultats suivants:

1. Des bases théoriques communes d’optimisation et d’apprentissage pour les réseaux neuronaux avec des résultats vérifiables
2. Une formation des systèmes apprenants via l'enseignement itératif
3. De nouvelles techniques solides d'apprentissage par renforcement

Une structure d'optimisation a été conçue pour estimer la constante de Lipschitz des réseaux neuronaux, qui est essentielle à leur généralisation ainsi qu'à leur vérification. L'approche est basée sur la recherche d'un certificat polynomial via des certificats de Krivine ainsi que des hiérarchies de Lasserre. L'équipe a également étudié la régularisation des réseaux neuronaux avec la norme «1-path» et développé des outils informatiques afin d’obtenir des solutions numériques. De plus, de nouveaux outils ont été dérivés pour quantifier la généralisation de l'apprentissage.

Des problèmes d'apprentissage automatique ont été examinés, dans lesquels un enseignant a fourni des exemples d’accélération de l'apprentissage, qui tiennent compte de la diversité des élèves en termes de progrès d'apprentissage. Le projet a également étendu ce problème à l'apprentissage par renforcement inverse et constaté que la progression de l'apprentissage pouvait être sensiblement accélérée.

Enfin, une nouvelle structure d'équilibre de Nash mixte a été développée pour l'apprentissage par renforcement robuste. L'idée principale est de considérer une version supérieure du problème de l'apprentissage par renforcement robuste, puis d'utiliser la dynamique de Langevin élaborée pour échantillonner les distributions de solutions. Cette approche augmente non seulement la robustesse, mais aussi les performances de généralisation globales.

Theory and methods for accurate and scalable learning machines