Modèles de langage: nouvelles méthodes pour agents conversationnels

Des agents aptes au dialogue ont besoin d’une série de compétences de lecture. Ils doivent par exemple pouvoir identifier des références sur des personnes, des organisations, des événements et des notions, c’est-à-dire créer presque automatiquement des liens de type Wikipédia. Malgré l’ambiguïté fondamentale de notre langue et son caractère contextuel, ils doivent comprendre de qui et de quoi l’on parle. Le contenu des déclarations doit aussi être compris et extrait. De nouveaux procédés de "Deep Learnings" offrent ici la possibilité de comprendre le contenu sémantique des phrases indépendamment du choix des mots et de la syntaxe. Il s’agit enfin de développer des modèles de discours appropriés qui, associés à une compréhension de la situation, permettent une interaction effective avec des personnes.

Divers algorithmes nous aident à obtenir et à évaluer des informations, en lien par exemple avec des moteurs de recherche ou des médias sociaux. Il en va de même dans le domaine du divertissement et de l’e-commerce. Dans ce contexte, on utilise de plus en plus des systèmes intelligents et aptes au dialogue auxquels, on peut poser des questions en langage naturel. Les conséquences économiques et sociales de ces nouvelles technologies sont énormes.

Un logiciel apte au dialogue doit comprendre de manière automatique texte et langage. Il ne s’agit pas seulement de répondre à des questions posées de vive voix, mais d’être capable de comprendre en profondeur des documents et des textes dans lesquels notre connaissance du monde est consignée. Ce projet a développé de nouvelles méthodes de compréhension des textes: de quoi parle-ton et qu’exprime-t-on? Qu’est-ce qui pourrait être pertinent ou intéressant pour un utilisateur? Ces questions nécessitent une réponse algorithmique.

Le projet de recherche visait à développer des technologies et des méthodes qui seront directement intégrées dans les systèmes de dialogue. De tels systèmes sont déjà utilisés de diverses manières dans les smartphones et sur Internet. Leur importance augmentera à mesure que la qualité de l’interaction avec l’humain sera améliorée. A la maison, au travail ou en route, des agents intelligents remplaceront les interfaces actuelles dans le monde numérique du savoir et du divertissement.

Le projet a permis d’obtenir des résultats dans quatre domaines qui sont centraux et fondamentaux pour les domaines en évolution rapide du traitement du langage naturel et des agents aptes au dialogue.

Tout d'abord, en matière de détection et de liaison d'entités, le projet a contribué à un nouveau système de liaison d'entités qui combine des intégrations d'entités avancées, un mécanisme d'attention neuronale sur des fenêtres contextuelles locales, ainsi qu’une inférence de désambiguïsation conjointe différentiable. Ce système combine en particulier la détection et la liaison d'entités. De plus, les travaux menés dans ce domaine ont débouché sur des activités de suivi novatrices.

Deuxièmement, dans le domaine des modèles de génération de langage qui sont à la base des systèmes aptes au dialogue, des résultats ont été obtenus quant aux différentes limitations qui résultent des polarisations et de l’apprentissage dirigé lors de la formation de modèles de langage inconditionnels.

Troisièmement, en ce qui concerne l'utilisation des réseaux neuronaux profonds pour les modèles génératifs, le projet a permis de progresser dans les algorithmes d'apprentissage pour l'évaluation des réseaux antagonistes génératifs (GAN). On espère pouvoir utiliser les GAN pour la production de textes et les échanges conversationnels, mais cela demeure encore un défi.

Quatrièmement, le projet a permis d’obtenir des résultats concernant la conception d'agents d'apprentissage par renforcement dans le cadre de jeux en mode texte. L'accent a été mis sur la manière de composer avec la nature compositionnelle et combinatoire du langage, qui rend difficile l'optimisation des politiques. De plus, un agent a été conçu avec la capacité d’obtenir de bons résultats à travers toute une famille de jeux, plutôt que dans un seul jeu.

Dans l'ensemble, le projet a contribué de manière décisive à la méthodologie de l'apprentissage automatique, plus particulièrement dans les domaines des intégrations géométriques et des modèles génératifs. Les résultats sont documentés dans une douzaine d'articles qui englobent des articles déjà très cités dans les conférences majeures sur l'apprentissage automatique ou l'IA, telles que NeurIPS, ICML et AISTATS.

Conversational Agent for Interactive Access to Information