Stagiaire Ingénieur(e) : Modèles génératifs combinant les approches des Modèles Basés sur l’Énergie (EBM) et des Réseaux Lipschitz

Réf. 996014 - publié le 15 octobre 2024

Informations générales

Missions

IRT Antoine de Saint Exupéry vous propose une offre de stage dans les domaines Informatique, télécom, Intelligence artificielle à Toulouse.

Les Modèles Basés sur l'Énergie (Energy-Based Models, EBM), sont une classe de modèles paramétriques qui définissent une fonction d'énergie pour capturer la structure des données. En pratique, un modèle EBM définit une fonction scalaire pour des données, où des valeurs plus faibles d'énergie correspondent à des configurations plus probables. Ces modèles sont utilisés dans diverses tâches telles que la génération de données, la reconnaissance robuste d'image, des tâches de raisonnement et la planification de trajectoires en robotique.

Les réseaux Lipschitz sont une classe particulière de réseaux neuronaux qui respectent la propriété de régularité Lipschitzienne (la variation de la sortie du réseau est bornée par une constante multipliée par la variation de son entrée). Ces réseaux sont connus pour leur robustesse aux perturbations adverses, leur stabilité, et leur explicabilité.

Récemment, un papier publié par l'équipe DEEL [2] a étudié l'utilisation de réseaux Lipschitz pour l'estimation de densité d'une distribution. La proximité de cette approche avec celui de l'apprentissage des EBMs laisse entrevoir un grand intérêt de combiner les EBM avec des réseaux Lipschitz. En effet, la contrainte de Lipschitz permettra de garantir la stabilité des dynamiques dans le paysage énergétique définit par l'EBM. Cette propriété devrait permettre de stabiliser l'apprentissage des EBMS et d'ouvrir de nouvelles perspectives pour des applications en apprentissage supervisé et non supervisé, où la robustesse et l'interprétabilité sont cruciales.

Les principales missions et étapes de ce stage seront :

· Étudier et comprendre les principes fondamentaux des Modèles Basés sur l'Énergie et des réseaux Lipschitz.

· Développer une architecture hybride et mettre en place un schéma d'apprentissage basé sur l'énergie et utilisant les réseaux Lipschitz.

· Analyser l’impact des contraintes Lipschitz sur les propriétés des EBM, notamment en ce qui concerne la généralisation et la capacité d'interprétation.

· Rédaction d'un rapport scientifique

Profil

Tu recherches un stage de fin d’études de niveau Bac+5 (Ingénieur, Master) en cursus Machine Learning, Mathématiques Appliquées, Informatique ou une discipline associée.

Nous cherchons un.e candidat.e avec les compétences suivantes:

· Connaissances théoriques solides en Machine Learning et Deep Learning, en particulier sur les réseaux des neurones, la descente du gradient et l'optimisation mathématique.

· Expérience avec les librairies de Deep Learning modernes, en particulier PyTorch et/ou TensorFlow.

· Familiarité avec l'écriture scientifique sur LaTex.

· Être capable de lire, écrire et s'exprimer en anglais.

Rejoins nous !

"Ne prévois pas ton futur, rends-le possible"

Postuler

Nom du recruteur : IRT Antoine de Saint Exupéry