Stage recherche sur la compression de Large Language Models (LLM) F/H

Réf. 993318 - publié le 14 octobre 2024

Informations générales

Missions

Orange SA vous propose une offre de stage dans les domaines Informatique -Télécom, Constructeurs, Hardware, Editeurs logiciels, Software, Multimédia et Internet,... à Meylan.

Mission
Les Large Language Models (LLMs) ont révolutionné l'interaction en langue naturelle, notamment avec des chatbots comme ChatGPT Récemment, de nouvelles applications ont émergé, comme la reconnaissance d'activités humaines à partir de données de capteurs. Cependant, ces modèles nécessitent d'importantes ressources de calcul et de stockage, ce qui pose un défi pour leur déploiement dans des environnements domestiques, souvent limités en ressources. Il est donc crucial d'explorer des méthodes pour réduire leur empreinte numérique tout en maintenant des performances adéquates.
Dans ce stage, vous étudierez expérimentalement la compression de LLMs pour la reconnaissance d'activités humaines :.
-  Vous dresserez un état de l'art des techniques de compression de LLM : quantification, pruning, knowledge distillation (Zhu et al. 2024)
- Vous évaluerez expérimentalement les performances et empreintes de LLMs open source, sur une tâche de reconnaissance d'activités humaines à la maison
- Vous implémenterez des approches de l'état de l'art de la compression de LLMs
- Vous comparerez expérimentalement les approches de compression implémentées sur une tache de reconnaissance d'activités humaines à la maison
Compétences
- Langages de programmation exigé : Python
- Connaissances en deep learning, large language models (LLM), Generative AI
- Connaissances appréciées en internet des objets, intelligence ambiante, smart home
- Très bonne maitrise écrite et orale de l'anglais.

Profil

Vous travaillerez en collaboration avec des chercheurs et doctorants en intelligence artificielle sur un sujet novateur Vos travaux pourront faire l'objet d'une publication scientifique selon l'avancement et les résultats obtenus.
Profil
- Vous recherchez un stage de fin d'études et suivez une formation d'ingénieur ou master informatique

Postuler

Nom du recruteur : Irma KARAMINASSIAN