Stagiaire - Ingénieur(e) : Explicabilité basée concepts pour des modèles Vision-Langage

Réf. 996016 - publié le 15 octobre 2024

Informations générales

Missions

IRT Antoine de Saint Exupéry vous propose une offre de stage dans les domaines Informatique, télécom, Intelligence artificielle à Toulouse.

L’intelligence artificielle, et en particulier le Deep Learning, ont montrés ces dernières années des performances inégalées dans de nombreux domaines. Cependant la nature aléatoire de leur entraînement induit des difficultés pour leur application à des systèmes critiques qui comportent de forts enjeux en termes de sécurité matérielle et humaine.

Pour pallier ces limitations, le projet DEEL (DEpendable and Explainable Learning www.deel.ai <http://www.deel.ai>, dans le cadre du Cluster IA ANITI aniti.univ-toulouse.fr/#chaires <http://aniti.univ-toulouse.fr/#chaires>) s’intéresse à l’explicabilité des modèles d’IA. Ce nouveau domaine vise à comprendre le fonctionnement des modèles dits « boîtes noires », et ainsi valider le raisonnement suivi par ces modèles et analyser ses failles lorsqu’ils prédisent de façon erronée.

Souvent liée à la « mechanistic interpretability », une approche qui commence à gagner en popularité est celle des concepts : si l’on arrive à décomposer l’espace latent des réseaux de neurones en concepts qu’un humain peut comprendre, le problème se réduit à estimer leur importance lors des décisions et à les localiser dans l’entrée. Pour le moment, cette théorie a été appliquée surtout dans le cadre de modèles entraînés avec une seule modalité (vision, texte, etc.), mais cette démarche commence à être transposée aux modèles alignés Vision-Langage. En particulier, la.le stagiaire sera chargé.e d’étudier ces décompositions dans le cadre de modèles de type CLIP / SigLIP et d’évaluer la qualité des concepts sous différentes métriques.

Le stage comprendra :

- Une prise en main des solutions existantes dans le cadre de modèles avec une seule modalité (vision, texte) à l’aide de la librairie xplique https://github.com/deel-ai/xplique <https://github.com/deel-ai/xplique>.

- Adaptation des méthodes basées concepts aux VLMs (Vision-Language Models).

- Etude des concepts extraits dans les différentes modalités.

- Evaluation de la qualité des concepts à travers différentes métriques et pour l’interprétation par des humains.

Profil

Tu recherches un stage de fin d’études de niveau Bac+5 (Ingénieur, Master) en cursus Mathématiques appliquées ou Informatique scientifique.

Tu sais programmer en Python, et tu as mis en œuvre des librairies de machine learning et de deep learning (PyTorch, Tensorflow).

Tu peux lire, écrire et t’exprimer en anglais.

Rejoins nous !

"Ne prévois pas ton futur, rends-le possible"

Postuler

Nom du recruteur : IRT Antoine de Saint Exupéry